Tokasaurus: An LLM Inference Engine for High-Throughput Workloads Jordan Juravsky Stanford Ayush Chakravarthy Stanford Ryan Ehrlich Stanford Sabri Eyuboglu Stanford Bradley Brown Stanford Joseph Shetaye Stanford Christopher Ré Stanford Azalia Mirhoseini Stanford TL;DR We’re releasing Tokasaurus, a new LLM inference engine optimized for throughput-intensive workloads. With small models, Tokasaurus
TL;DR LLMガードレールはLLMの入出力を監視・制御する技術であり、LLMアプリケーションにおける様々な脅威への対抗策になります。しかし、あくまで役割は脅威の緩和・低減であるため、それぞれの脅威に対する根本的な対策をした上で、万が一の事故に備え文字通りガードレールとして導入する必要があります。 本文中では、RAGアプリケーションの利用する外部データベースにプロンプトインジェクションを引き起こすデータが存在し、LLMに対する入力として利用された場合、LLMガードレールで検知する例を紹介しています。しかし、根本的には外部データベースに悪意あるデータが登録されないよう対策すべきです。 このブログではLLMガードレールで対応できる脅威を実際に検証しながら整理し、適切なユースケースを議論します。 はじめに こんにちは、GMO Flatt Security株式会社所属のセキュリティエンジニア滝上
How Nubank refactors millions of lines of code to improve engineering efficiency with Devin Overview One of Nubank’s most critical, company-wide projects for 2023-2024 was a migration of their core ETL — an 8 year old, multi-million lines of code monolith — to sub-modules. To handle such a large refactor, their only option was a multi-year effort that distributed repetitive refactoring work across
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2024年3月12日にCognition社がDevinを世界初の完全自律型AIエンジニアとして発表しました。 GitHub Copilotのようにコードを補完したりサジェストしてくれるのではなく、与えられた情報をベースに自律的に開発プロセス全体を行えるというのが大きな特徴でした。 最近話題になっているAI エージェント型プロダクトの一つですね。 その性能を調べるため、弊社も発表当時Waiting Listに登録して早いうちに試したいと考えていましたが、全く連絡が無いまま数ヶ月が経過していました。 その間、他社からもGitHub
急速に進化する大規模言語モデル（LLM）を、視覚的に理解しながら実践的に学べるハンズオンガイド。本書では、Jupyter Notebookやクラウド上で実際にモデルを動かしながら学ぶことができます。大規模言語モデルに欠かせないTransformerの仕組みをはじめ、要約、セマンティック検索、テキスト分類、クラスタリング、RAG（検索拡張生成）といった技術も、図解とともに直感的に理解できます。豊富なコード例と既存ライブラリの活用法を通じて、直感を重視したアプローチでLLMを学びたい読者に最適な一冊です。 賞賛の声 訳者まえがき まえがき 第I部 言語モデルの理解 1章 入門大規模言語モデル 1.1 言語AIとは？ 1.2 言語AIの近年の歴史 1.2.1 Bag-of-Wordsによる言語の表現 1.2.2 埋め込みによる言語の表現 1.2.3 埋め込みの種類 1.2.4 注意機構による文脈
ビジネス職 2026年度本選考 2027年度早期選考は以下から https://dena.snar.jp/entry.aspx?entryid=ce5740a4-769a-4216-8ccd-74ad86fbafbd チャンネル登録よろしくお願いします！ https://www.youtube.com/@DeNA-Business ここでしか見られない動画やイベント情報をお届けする 事業家のDNA公式LINEに友だち追加お願いいたします！ 🔹事業家のDNA公式LINE lin.ee/RebVYy7 🔹事業家のDNAプロデューサー https://twitter.com/momoka_teramoto 動画コメント欄やメールなどからぜひご連絡ください。 ★DeNA人事部メールアドレスはこちら [email protected] 【DeNA関連サイト】 🔹DeNA公式ページ h
こんにちは。 ファインディ株式会社 で Tech Lead をやらせてもらってる戸田です。 現在のソフトウェア開発の世界は、生成AIの登場により大きな転換点を迎えています。 GitHub Copilotやチャットベースの開発支援ツールなど、生成AIを活用した開発支援ツールが次々と登場し、開発者の日常的なワークフローに組み込まれつつあります。 そのような状況の中で、MCPというプロトコルが話題となっていることは読者の皆さんもご存知かと思います。 そこで今回は、弊社の開発組織でのMCPサーバーの導入と実装、そして実績について紹介します。 それでは見ていきましょう！ MCPとは 導入 実装 実績 動的にプロンプトのテキストを作成して返す Devinと連携する Figmaデータのlintを行う セキュリティ面の考慮 まとめ MCPとは MCP（Model Context Protocol）は、アプ
グーグルのAI研究者、デイビッド・シルバー氏（右）。REUTERS最近はAI（人工知能）に関する研究論文が非常に多く、目立つのは難しい状況だ。しかし、ここ数日で、テクノロジー業界全体で大きな議論を巻き起こした論文がある。 「これは過去2年間で読んだAIに関する最も刺激的な内容だ」と、スタートアップ企業の創業者であるスハイル・ドーシ（Suhail Doshi）氏は週末にXに投稿した。アンスロピック（Anthropic）の共同創業者であるジャック・クラーク（Jack Clark）氏は4月21日のニュースレター「Import AI」でこの論文を紹介した。このニュースレターは、数千人の業界研究者に読まれている。 ChatGPTはまだグーグルの成長を減速させてはいない。しかし、AIエージェントの登場でウェブの未来は変わるかもしれない | Business Insider Japan グーグル（Goo
はじめに はじめまして、2024年4月より松尾研究所で働いている大西です。 前職では電機メーカーで研究職として働いており、社内外の事業を対象としたAI・最適化技術の社会実装を目的に研究開発を行っていました。 5年間勤めたタイミングで、AIに関するプロジェクトマネジメントに携わりたいと考え松尾研究所に転職しました。入社して3ヶ月が経ち、松尾研究所の良い文化と感じた勉強会について紹介させていただきます。 勉強会について 松尾研究所では、AIの社会実装に向けた社員の技術力向上を目的として数理最適化や因果推論などの勉強会を定期的に開催しています。今回は、数理最適化勉強会実施の経緯と進め方について説明します。 数理最適化とは 詳細な説明は省きますが、数理最適化とは、特定の目的関数（例：コスト、利益、時間）を最大化または最小化するために、変数の最適な組み合わせを見つけるプロセスです。現在、数理最適化は
「AgenticSeek」はローカルで動作するAIエージェントで、「PC上のファイルを検索」「コードを書く」「ウェブ上から情報を検索する」といった操作を実行できます。AIモデルは推論モデルのDeepSeek-R1を使用可能で、有料AIアシスタントのManusに匹敵する性能を無料かつ完全ローカルで実現することを目指して開発が進んでいます。 GitHub - Fosowl/agenticSeek: A open, local Manus AI alternative. No APIs, No $200 monthly bills. Enjoy an autonomous agent that thinks, browses the web, and code for the sole cost of electricity. https://github.com/Fosowl/agenticS
Google Cloud Next AI導入はもはや米国先行ではない--Google Cloud幹部が明かす「Vertex AI」の急成長 - (page 2) --生成されたコンテンツの著作権については、どのように対応しますか。 Googleは、提供する全てのモデルに対し、補償を提供している。他社と同様、Googleも基盤モデルの学習に用いたデータセットの全てを公開しているわけではない。しかし、補償を提供するため、社内の著作権専門チームと連携し、学習データは慎重に選定している。 --Lyriaの追加により、Vertex AIはテキスト、動画、画像、音楽をサポートするマルチモーダルプラットフォームになったとのことですが、顧客にとっての具体的な優位性は何でしょうか。 さまざまな利点があるが、例えば規制の厳しい業界の企業にとっては、新サービスが登場するたびに個別に導入プロセスを経るのは大きな負
#1 Where has value accrued in Gen AI so far?It’s been 18 months since the “iPhone moment of AI”1 but the pace of developments has not slowed down. One of the biggest questions I’ve been thinking about is where does value accrue in Gen AI - today and in the future. Today, the Gen AI stack seems to be A-shaped vs V-shaped for cloud2: Thanks for reading Apoorv’s notes! Subscribe for free to receive n
はじめに 課題：情報不足による検索ヒット率の低さ 施策：LLMによる検索タグの自動生成と活用 なぜタグ生成か？ 設計 JANコード単位での生成と管理 タグデータの更新について タグ生成の品質とリスク プロジェクトの進め方 1. PoC：タグ自動生成の実現可能性と品質検証 2. インデキシングの実装 3. 商品検索ロジックの評価とプロンプトチューニング 4. 検索ロジックの修正と本番リリース 5. 本番リリース後の効果測定 おわりに はじめに こんにちは、10Xで検索推薦の機能・基盤の開発運用を担当している安達(id:kotaroooo0)です。 10Xでは小売チェーン向けECプラットフォームStailerにおいて、商品検索機能ではElasticsearchを利用しており、主にテキストマッチングによって検索を実現しています。 今回、LLMを活用して商品検索タグ(以下、タグ)を自動生成し、検索
現時点で個人の感想です。流動的なので、明日にでも意見は変わってると思います。 モデル Claude-3.7-sonnet コーディング性能が圧倒的に良い。迷ったらとりあえずこれを使っておけばよい だいたい1ファイル1000行ぐらいが管理できる限界 Gemini 2.5 今なら無料で使える。今のうちに使い込んでクセを把握するといい。 巨大コンテキスト理解ができるので、「大量にコードを読んでちょっとだけコードを書く」つまり一般的な業務プログラミングに向いてる。 リリースから一週間は負荷が高くて不安定だったが、最近安定してきた さすがに単純なコーディング性能は Claude-3.7-sonnet に劣る deepseek-chat Cline で使うには遅すぎて役に立たない AIツール作るときの壁打ちに使っている。雑に巨大データ送りつけても安くて安心 コーディングエージェント/拡張 Cline
sponsored 情報漏洩リスクの高まるAI／クラウド時代に適した新世代DLP「FortiDLP」 社員の“シャドーAI”利用で、取引先の情報が漏洩！ どうやったら防げた？ sponsored ワークハッピーを目指す「Zoomユーザー会」レポート AI・データ活用もはかどるクラウドPBX 「Zoom Phone」ユーザー4社が語るビフォー・アフター sponsored スマホじゃゲームが楽しくない！ そう思ったら最高レベルのプレイを手に入れよう これが同じゲーム？ ゲーム専用タブレット「Lenovo Legion Tab」の見違えるパフォーマンスに驚く sponsored AI需要に合わせてサーバーラックやワークステーション、商業用ファンなども展示 エモいPCケースに最新パーツ搭載、SilevrStone「FLP02」でレトロなPCデスク環境を作れる！ sponsored 複雑な長期プロ
はじめにGoogleのGemini Advancedに搭載されたGemini2.5ProによるDeep Researchは、特に医療分野のような専門的な情報収集において、その高い能力が注目されています。GeminiのDeep ResearchはChatGPTなどの既存AIツールと比較して、参照する文献数の多さや情報処理の速度において優位性を示す一方で、生成されるレポートが冗長になったり、要点が掴みにくくなったりするという課題も感じます。この記事では、Gemini Deep Researchの性能と留意点を評価するとともに、日々の活用に役立つ基本的なTipsもご紹介しつつ、これらの課題を克服し、そのポテンシャルを最大限に引き出すためのカスタムGPTも紹介します。 Gemini Deep Researchの性能評価：ChatGPTとの比較AIによるリサーチ支援ツールとして、ChatGPT のD
最近のAIの進化は目覚ましく、コーディングにおいても、もはや人間が一切を関知せず"ノリ"で全てを完成させるvibe codingなる概念まで登場しました。 しかし、現実の業務にこれを適用すると、まあ、上手くいきません。 1ファイルで完結するようなスクリプトであれば上手くいきます。驚くほど上手くいってびっくりします。テトリスを書いて、と指示したらテトリスは完成するでしょう。 しかし現実のコーディングは素朴なテトリスを実装するほど単純ではありません。 LLMの限界 ここで一つの問いを考えます。 「入社初日の知識豊富なエンジニア」と「ここ数ヶ月の間、機能Aの開発に携わっている普通のエンジニア」、どちらが5分で機能Aの開発を進められるか？ おそらく、答えは後者になると思います。 これがまさにAIによるコーディングに起こっていることで、 どれだけLLMの性能が向上したところで、実装に関する知識（コン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
