はてなブックマーク

Fortran 時代からある発想でつくるビッグデータ用の高速かつコンパクトな【自然数インデックス】をざっくり紹介 します。 はじめに この記事は、Fortran 時代からある発想の組み合わせでつくる高速なインデックスである【自然数インデックス】の紹介です。原理と構成、応用、そして実装についてざっくりと雰囲気がわかる解説です。読んだだけで、検証レベルでも面白い実装ができるように書いてあるつもりです。ぜひ、最後まで、お読みください。 自然数インデックスの対象は、レコード（行）、カラム（項目）からなる表形式（以下テーブルと呼びます）のデータです。おおよそCSVデータだと思っていいです。最近は、10GBを越して、項目数が数千もあるようなCSVはよくあります。そういったビッグデータになっているCSVを高速に扱うのが自然数インデックスです。さらに、全項目にインデックス付きでも圧縮可能で、コンパクトにな