概要 2024年後半からどんどん小規模で性能のいいモデルが出てきて、”ローカルLLMなのに良い”という評価から、”普通に性能がいい”という評価に代わってきている気がしていました。 そんな中でDeepseekR1が公開されて、いよいよ手元で触ってみたいな・・・という欲求がわいてきたのでRTX4070tiSuper(VRAM16GB)＋RTX3090(VRAM24GB)の計40GBのVRAMを持つPCを構築したのでその顛末を書いていきます。 振り返ってみても、結構コスパのいい選択ができたのかなと思っています。 購入前の検討、ローカルLLMで遊ぶならVRAMはいくつ積むべき？ 結論としてはあればあるだけよい、というのが正しいと思います。DeepseekR1を動かすんだったら量子化モデルでも128GBメモリがあってもギリギリみたいですしね。 とはいえ、個人で買う以上100万、200万とお金をかける
俺が好きなmacでローカルLLMを触れるってことと、来年さらにローカルLLMが熱くなる(はず)ということでm4チップが発売されたことを契機に購入を検討した。 ＃現状、m1 mac book air 16GB所持で、小さめのモデルでも手元で動かすにはちょっと心もとない。 この記事は検討の過程を共有して、誰かの参考になればと思って公開する。 結論 色々悩んだが、整理してみると俺はm4 mac book airのメモリ24GBを待つことにした。(年末セールのm3 mac book airもちょっと候補。) mac book proも悩んだが、持ち運びが多いので重さ、バカ高いPCを持ち運ぶの怖いという観点で諦めた。 一旦mac book airのみで推論ベースで遊んでみて、自分でもモデルを学習してみたいとかでてきたときにm4 mac miniのm4pro-48GBを追加導入しようかなと思う。 ロー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
