みんな、［Senna-dev 884］のメールは読んだかな！？ 全文検索エンジンSennaの新しいAPIについての素案がついに公開されました。 今までのAPIのほとんどを刷新するという 大改造！劇的ビフォーアフター的API群です（APIの匠）。 んで、この新しいAPI群で何ができるようになるのでしょうか。 簡単に言うと、 「Sennaは、データベースになります！」 といいつつも、全文検索機能を充実させるために、 データベース的機能を強化した、という感じになっておりますぞ。 データベース機能 新しいSennaでは、複数のテーブルというものを持つことができます。 テーブルは、複数のレコードを持つことができます。 レコードは、複数のカラムを持つことができます。 カラムは、ある型のデータを保持します。 一般的なRDBMSの２次元表をまずはイメージしてください。 ポイント1. レコードごとにカラムが
地味に反響のないSenna 1.1.0ですが、 SennaQLという新しい問い合わせ言語が搭載されています。 我々の調査の結果、 なんとSennaQLは以下のページで挙げられている Schemeの特徴を全て満たしていることが判明しましたっ！！！ 最もタメになる「初心者用言語」はScheme! Schemeで豊かな表現力を身につける 参照透明できれいな心をそだてる 括弧はこわくない＞＜ Schemeは上を目指せる！ これはみんなSennaQLを学ばないといけないですね！！ SennaQLのおためし方法 Senna 1.1.0以降をインストールしたあとに、 % senna filename.db と実行すれば、対話的環境でSennaQLを試すことができます。 SennaQLで簡単な計算をやってみましょう。 > (+ 1 1) 2 > (define a 3) a > (define b (+
http://slashdot.jp/askslashdot/article.pl?sid=07/03/10/0845225 文字コード問題は下手に首を突っ込むとコワイ人（？）が続々と議論に参加してきて触れづらい話題です。 SennaでUTF-8を使う場合、以下のような問題があります。 nfkc正規化で時間がかかる(ex.〓→ミリバール) 語彙表(メモリに常時載る)のサイズが増える、よってメモリ使用量も増える というわけで、検索対象文書が使っている文字集合がeuc-jpが対応している文字集合に収まるのであれば、Sennaではeucを使うのがお勧めな気がします。 コンテンツ量が多いと、じわじわとメモリ量の削減が効いてくると思います。
Senna 1.0.0がリリースされたよ！ 遂にSennaの1.0.0が出ましたよ！ プレスリリースによると ●メジャーバージョン(1.0.0)リリースについて Senna1.0.0では転置インデックスの格納形式を改善し、更新/検索速度を損ねる ことなくサイズを最大で従来比70%程度まで圧縮することに成功しました。この ため、従来よりも大規模な文書を1台のサーバで管理することが可能となりました。 という事なので早速wktkしながらinstallしました。 色々考えるのがめんどくさかったので、動いてる環境にsennaとmysqlを順番にmake installしてmysql restartです。 早速indexを作り直してみると。。。。 -rw-rw---- 1 mysql mysql 1.0K 21:05 SEARCH_DATA.MYI -rw-rw---- 1 mysql mysql 2
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み
Sennaの部分一致検索時の挙動について、 ACM SIGMOD日本支部大会で質問が出ました。 傀儡師の館 - 組み込み型全文検索エンジン Senna を使ってみる http://plaza.rakuten.co.jp/kugutsushi/diary/200611120002/ のエントリでも、部分一致検索の挙動についてツッコミが入っています。 というわけで、Sennaの部分一致検索の挙動について説明。 デフォルトでは、以下のような検索処理が行われます。 クエリを形態素解析する (A) それぞれの形態素が、指定された順番で出現する文書を検索 1件でもヒットすれば、終了 (B) クエリを形態素解析せずに1つの語として扱い、その語が出現する文書を検索 1件でもヒットすれば、終了 クエリを形態素解析する。 複数の形態素が取り出された場合… 最初の形態素と後方一致する登録語のリストを作る。リスト
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
PostgreSQL 8.2からGINというインデックス形式が追加され、 それを用いれば全文検索インデックスが実現できます。 分かち書きを別途行う必要はありますが。 http://itpro.nikkeibp.co.jp/article/COLUMN/20060912/247864/?ST=lin-server&P=3 MySQLのデフォルトの全文検索インデックスも、 分かち書きを別途行えば日本語の全文検索が実現できます。 http://pc8.2ch.net/test/read.cgi/php/1157467026/382 382 ：nobodyさん ：2006/10/05(木) 14:59:05 ID:??? MySQLならMeCabとかで分かち書きして、UTF-8でFULLTEXTに放り込む手もある。 んじゃ、分かち書きさえやってしまえば SennaのxxxxバインディングとかLud
NTT Data が開発した(というか、Senna の PostgreSQL バインディングを作った) Ludia を使ってみた。 # 以前、pg_senna を試したこともあり、期待大。 インストールは ドキュメント通りに問題なく完了。 環境は Athlon64 3800+ (Dual Core) 1GB RAM Fedora Core 5 PostgreSQL-8.1.4 こんなので。(MacOS X, PostgreSQL-8.1.4でもちゃんと動いたよ) 手元の、Plagger で取ってきたフィードを保存しているテーブルに INDEX を作って検索してみた。 # SELECT count(*) FROM entry; count ------- 64445 # SELECT sum(octet_length(body)) FROM entry; sum ---------- 690
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
