イベント ストリームを使いこなす: 高速概算集計 Michael Meijer サンプル コードのダウンロード クリックストリーム、センサー データ、クレジットカードの取引データ、インターネット トラフィックなど、大量のイベントがほぼ無限に続くストリームがあるとします。このようなストリームは、すべてのイベントを格納したり、複数回のパスで分析したりすることは不可能です。最新の数イベントを含むウィンドウを使って分析を簡略化するのはどうでしょう。 ストリームの中で最も新しいイベント N 個を含む大きなウィンドウの中から、関心のあるイベントの数をカウントするとします。最も簡単なのは、N 個すべてのイベントをメモリ内に収め、すべてを反復してカウントする方法です。新しいイベントが到着するとウィンドウがスライドし、最も古いイベントの有効期限が切れ、新しいイベントが挿入されます。新しいウィンドウで最初から
IF YOU ARE LOOKING for the drop-in replacement for java.util.Hashtable, it's in the lib directory, lib/java_util_hashtable.jar. It needs to be in your bootclasspath. Example: java -Xbootclasspath/p:lib/java_util_hashtable.jar my_java_app_goes_here --- A collection of Concurrent and Highly Scalable Utilities. These are intended as direct replacements for the java.util.* or java.util.concurrent.* co
A common pattern in real-time data workflows is performing rolling counts of incoming data points, also known as sliding window analysis. A typical use case for rolling counts is identifying trending topics in a user community – such as on Twitter – where a topic is considered trending when it has been among the top N topics in a given window of time. In this article I will describe how to impleme
MassDAL Public Code Bank : Sketches, Frequent Items, Changes (Deltoids) This page is a library of routines in C and Java for data streaming and other massive data set analysis. Currently, these are derived from internal testing routines ("proof of concept" implementations), and so are distributed with no guarantees. In particular, there is relatively little error checking (parameters in range, mem
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
はじめに 超大規模なテキストデータでのN-gram統計を取る場合、そもそもデータがメモリにのらなくてSuffixArrayを使ったカウントも無理だったりする。近似値でよい場合、効率的な方法があると知ったのでちょっとメモ＆試してみた。 与えられるデータ 大量のデータがストリーム形式で与えられるとする 高速にどんどん与えられる 例えば、データパケット監視やtwitterなど カウントしたいデータの種類が膨大 種類をメモリに保持するのが無理 ストリームデータにおける頻度カウント法 正確なカウントは難しいが、近似的に頻度カウントを行うことができる Sticky Sampling Algorithmは解釈が間違っているかもしれない Sticky Sampling Algorithm カウントする要素をサンプリングで選ぶ方法 保持するのは以下の2つのペアの集合 e : 要素(例えばN-gram) f
誤り許容カウント法(lossy count method)のサンプルプログラム 2010-05-12-1 [Programming][Algorithm] 1行1ラベル形式で、 1万種類のラベルを持つ、 100万行のデータがあるとします （ラベルの頻度分布はジップの法則にだいたい準拠するとします）。 各ラベルの頻度をハッシュを使ってカウントするとなると、ハッシュエントリ1万個分のメモリ容量が必要になります。（1万じゃたいしたことないな、という人はもっと大きな数に置き換えて読んでください。） しかし、カウント後に高頻度のものしか使わないということも多いと思います。例えば頻度5000以上のもののみ取り出してあとはいらない、とか。 そうなると、全部のラベルのカウントデータを最後まで保持するのは無駄に思えます。 そこで登場するのが「誤り許容カウント法(lossy count method)」。 低
2012.11.17 CLR/H＆札幌C++勉強会 発表資料「部分文字列の取得を�効率よく！楽に！� - fundoshi.hppの紹介と今後の予定 -」
Abstract: Exploring new instructions in Core i7/i5. Created 15 years ago by Peter Kankowski Last changed 15 years ago Contributors: Dmitry Kostjuchenko, Marat Dukhan, and Subbu N Filed under Low-level code optimization Recent Intel processors (Core i7/i5) can calculate CRC-32C and bit count in hardware. With other domain-specific instructions (string handling, AES encryption) in SSE 4.2, it may se
This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBase and Storm. It also covers Kafka's scalability, perfor
2012-02-17 Count-Min Sketch のライブラリを公開しました written by Susumu Yata. はじめに 先日 groonga プロジェクトでの利用を目的として開発しているライブラリ Madoka を公開しました．Madoka は Count-Min Sketch という手法をライブラリ化したものであり，文書集合に含まれるキーワードの頻度を求める，クエリの頻度を求める，などの用途に使うことができます． s-yata/madoka - GitHub Documentation - Madoka ライブラリの使い方についてはドキュメントに書いてあるので，こちらは Count-Min Sketch と Madoka の特徴をまとめた内容になっています． Count-Min Sketch 頻度を求めることが目的であれば，ハッシュ表による連想配列を使うのが，おそら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
