埋め込みモデルのマージを実験してみました。 まず、Gemma-2Bをベースモデルとして、検索、NLI、分類の3タスクを想定した学習データで学習し、それぞれのタスクに特化した3つの埋め込みモデルを作成しました。 これらをマージすることで、タスクに特化したモデルよりも評価が高くなることが確認でき、埋め込みモデルでもマージが有効であることが分かりました。 ただし、特に検索性能は既存のモデルと比べて競える精度とはなっていません。もう少し改善出来たら公開したいです。 背景、モチベーション取り組みの背景として、関連する最近の話題をいくつか紹介します。 1. LLMを使った埋め込みモデルとモデルマージこれまでの埋め込みモデルは、BERTのような1B未満のパラメータの小規模なモデルが使われることが多かったのですが、最近ではLLMを使った埋め込みモデルも出てきています。 日本語に対応した小規模な埋め込みモデ
Redditのr/LocalLLaMAを眺めていたらまた面白そうなネタがあった。 Can your favourite local model solve this? 比較的簡単な幾何学の問題をローカルLLMで解くことができるかというテーマである。 図の三角形のxの角度を求めよという問題だ。画像を理解できるLLMで中学生程度の数学の知識があれば解けそうな問題である。しかし前提として画像を正しく理解する必要がある。 Llama4 ScoutはマルチモーダルのLLMである。マルチモーダルの機能を試すのにちょうど良さそうなので試してみることにした。 問題の解答 まずは自分で答えを求めてみる。 三角形の内角の和は180で、緑の角87とピンクの角36が分かっている。残りの角の角度は で57と求まる。 オレンジの角45を含む三角形に着目すると残りの角の角度は で78と求まる。 ２本の直線は並行で、
ALGO ARTIS でソフトウェアエンジニア(主にフロントエンド)として働いている船岡 (@mochiya98)です。 2025 年 5 月 20 日、 Google I/O 2025 で Gemma 3n がプレビュー版として発表されました。 MatFormer (Matryoshka の Mat。必要な時に必要な分だけ読み込む) を用いて実装されており、従来に比べて少ないメモリ消費で推論できることが特徴のモデルです。 しかしながら、公開されているモデルは特殊なフォーマットなため、スマホからの使用のみに限定され、PC からローカルで推論して試すことは難しい状況にありました。 でも、試してみたいよね？ はじめに 単純にモデルを使いたいだけなら Google AI Studio や API 経由で使用するのが簡単です。 毎分 30 回、毎日 14,400 回呼び出せます。 実質無限。API
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
