やはりSakanaは釣りだった!?Sakana.aiが発表した論文が海外のAI研究者コミュニティで炎上 2025.02.21 Updated by Ryo Shimizu on February 21, 2025, 15:59 pm JST ついにやらかしてしまったか。 数多くの日本企業から高い評価を受け、資金調達をしてきたSakana.aiは、登場した当時はヒーローだった。 まるで学術的な意味のない面白論文と面白実装を次々と発表する様は、「ロックだなー」と、ある種、ファンの目線で彼らをみていた。 「面白い論文」と「学術的に価値や評価が高い」論文というのは全く違って、最初、Sakana.aiが進化計算の論文を出した時は、クールなジョーク論文だと思っていた。 論文偏重主義に一石を投じ、中身の読めない人をからかうかのような姿勢はトリックスター的な面白さがあった。 唸るような大金を集めておきなが
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
