メデューサヘッドは高速化のためだが、RouteLLMはコスト削減のために、よしなに強いLLMと弱いLLMに振り分ける。製品例: MartianとUnify AI。RouteLLM自体を含めた処理速度のベンチマークをみたい。langchainに組み込んで

LLM
RouteLLM

arrowKato のブックマーク 2024/07/16 16:20

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4756091618513507904/comment/arrowKato" data-user-id="arrowKato" data-entry-url="https://b.hatena.ne.jp/entry/s/lmsys.org/blog/2024-07-01-routellm/" data-original-href="https://lmsys.org/blog/2024-07-01-routellm/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Flmsys.org%2Fblog%2F2024-07-01-routellm%2F" data-user-icon="/users/arrowKato/profile.png">RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing | LMSYS Org</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/LLM">LLM</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/RouteLLM">RouteLLM</a>]</li></ul><br><p style="clear: left">メデューサヘッドは高速化のためだが、RouteLLMはコスト削減のために、よしなに強いLLMと弱いLLMに振り分ける。製品例:  MartianとUnify AI。RouteLLM自体を含めた処理速度のベンチマークをみたい。langchainに組み込んで</p><a class="datetime" href="https://b.hatena.ne.jp/arrowKato/20240716#bookmark-4756091618513507904"><span class="datetime-body">2024/07/16 16:20</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing | LMSYS Org

lmsys.org2024/07/10

RouteLLM: An Open-Source Framework for Cost-Effective LLM Routingby: Isaac Ong*, Amjad Almahairi*, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous, Ion Stoica, Jul 01, 2...

3 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing | LMSYS Org

はてなブックマーク

公式Twitter

はてなのサービス