はじめに はじめまして! 今年クロスマートに入社したエンジニアのうえだと申します。 弊社の提供するクロスオーダーはユーザーの皆様にご愛顧いただいているおかげで日々データが増え続け、1億レコードを超えるテーブルも出始めています。 その結果、今まで問題にならなかったSQLクエリも徐々に時間がかかるようになりました。 そのためユーザー体験を損ねないようにクエリの速度改善が必要になってきています。 EXPLAIN ANALYZE を使おう MySQLのクエリ改善は、昔は EXPLAIN の結果を見ながらインデックスをはったりクエリを書き換えて試行錯誤するのが定番でした。 しかし MySQL 8.0.18 から導入された EXPLAIN ANALYZE を使うことで、より改善のための手がかりを得ることが出来るようになりました。 EXPLAINではオプティマイザが選んだ実行計画が表示されますが、実際の
RAGにElasticsearchは本当に必要？PostgreSQL＋pgvectorで実現したシンプルな全文・ベクトル検索 はじめに社内でクレーム分析AI（RAG）を開発するにあたり、 当初は「やはりRAGならElasticsearchが王道だろう」と考えて、全文検索インデックスとベクトル検索の両方を構築しました。 しかし運用・学習コスト、構成の複雑さ、保守性の観点から再検討を進めた結果、 PostgreSQLの全文検索（PGroonga）＋pgvectorという非常にシンプルな構成にたどり着きました。 結論から言えば、中小規模なデータ（数千〜数万件規模）であればPostgreSQL単体で十分に実用レベルです。 構成の比較 実現した機能クレームデータをall_textに統合しPGroongaで全文検索 Ollamaでembeddingを生成しpgvectorで格納 キーワード検索／ベクト
最近の流行りに乗って、ChatGPTを使ってPostgreSQLのPL/pgSQLユーザ定義関数を単純化してみます。 単純化する対象のユーザ定義関数について PostgreSQLには、ページレベルの情報を取得するためのpageinspectというcontribモジュールがあります。このモジュールには、get_raw_page()とheap_page_items()という2つの関数が含まれています。get_raw_page()は、指定したページの生データを確認でき、heap_page_items()は、指定したページに含まれる行の情報を確認できます。これらの関数を組み合わせることで、テーブル内のページの情報を簡単に確認できます。 例えば、テーブルtestの2ページ目の情報を確認するには、以下のクエリを使用します。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
