気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント17件
- 注目コメント
- 新着コメント
yarumato
“RAGの回答を爆速にする手法。外部からの関連文書を、そのままLLMに渡すと入力が長く回答も遅い。関連文書をベクトル化して、ベクトル形式のままLLMに注入すると30倍高速化。だが複雑。より単純な類似手法xRAGもある”
otchy210
インタープリタ遅いからあらかじめバイトコードにしとこうぜ、的な話。この技術の先に、機械語相当の「LLM内部のメモリ状態のダンプ」みたいのが出てきたりするだろうか？あたかも思考過程のセーブとロードのような。
khtokage
実際、Claude Codeとかでコンテキストを保存する場合に「人間に配慮せずAIが自分で分かる様にしてくれ」とか指示すると（自然言語ではあるけど）かなり圧縮されたりするし、こういう方向性はどんどん進むと思いますね
misshiki
“「REFRAG」という手法では、検索した関連文書をベクトル化して、ベクトル形式のままLLMに注入します。こうすることで、「LLMから回答が来るまでの時間」を最大で約30倍高速化できます。”
yossy_etf
埋め込みに使うLLMと回答に使うLLMは通常違うので、ベクトルをそのまま渡すには埋め込みモデルと回答モデルが同じである必要がある。回答に使うLLMは埋め込みLLMより通常はでかいので同じモデルを使うと非効率。
khtokage
実際、Claude Codeとかでコンテキストを保存する場合に「人間に配慮せずAIが自分で分かる様にしてくれ」とか指示すると（自然言語ではあるけど）かなり圧縮されたりするし、こういう方向性はどんどん進むと思いますね
yarumato
“RAGの回答を爆速にする手法。外部からの関連文書を、そのままLLMに渡すと入力が長く回答も遅い。関連文書をベクトル化して、ベクトル形式のままLLMに注入すると30倍高速化。だが複雑。より単純な類似手法xRAGもある”
otchy210
インタープリタ遅いからあらかじめバイトコードにしとこうぜ、的な話。この技術の先に、機械語相当の「LLM内部のメモリ状態のダンプ」みたいのが出てきたりするだろうか？あたかも思考過程のセーブとロードのような。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RAGを30倍速くするMetaの新技術「REFRAG」
本記事では、RAGの性能を高めるための「REFRAG」という手法について、ざっくり理解します。 株式会社ナ... 本記事では、RAGの性能を高めるための「REFRAG」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 この記事は何 この記事は、RAGの回答を爆速にする手法「REFRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー REFRAGは、RAGの回答速度を上げるための新しい手法です。「巨額報酬での人材引き抜き」で話題になったMeta社の「Superintelligence Labs」[2]の研究者らによって2025年9月に提案されました。 通常のRAGでは、外部のデータベースから検索した関連文書を、そのままLLMに渡します。しかし、
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2025/09/24 リンク