はじめにProxmox＋Ubunut24.04でRTX 5060 Tiを認識させ、llama.cppでgpt-oss-20Bを動かします。 環境・PC ： Minisforum MS-01 ・グラボ ： NVIDIA RTX 5060 Ti ※OCuLink接続 ・ハイパーバイザ ： Proxmox 8.3.1 ・OS ： Ubuntu 24.04 OS準備ハイパーバイザがグラボを認識しているか確認pveでlspciを実行。01:00.0と01:00.1にグラボがあることがわかる。 root@pve:~# lspci 00:00.0 Host bridge: Intel Corporation 12th Gen Core Processor Host Bridge/DRAM Registers (rev 02) 00:01.0 PCI bridge: Intel Corporation 1
GPT-OSS:20BをOCuLink接続またはPCIe接続したグラボで動かしてみた（A1000、RTX 3090、RTX 5060 Ti） この記事を書いたきっかけがgpt-oss-20Bの高速化だったので、速度を確認してみます。また、OCuLink or PCIeでも差分を確認してみます。 構成OCuLink利用機器（グラボなし場合もこの機器） CPU：Core i9 12900H メモリ：64 GB PCIe利用機器 CPU：Ryzen 7 5700X 8core メモリ：32GB 動作確認グラボなしグラボなしでのリソース使用状況。 ・CPU 98% ・RAM 17.1GB ・GPU なし ・VRAM なし ・10.67 t/s ※2545Tokensで238.446秒 グラボがないのでlspciにはグラボの姿はない。※グラボを接続したら01:00.xに入る。 root@pve:~#
高性能なミニPCによく装備されている「Oculink」ポートを使って、ミニPCに外付けグラフィックボード（eGPU）を増設する方法を実際に解説します。 ミニPCの内蔵グラフィックス（iGPU）から、どれくらいゲーム性能やLLM生成スピードが向上するのか？ ･･･性能の伸び具合も詳しく比較してみましょう。 （公開：2025/4/21 | 更新：2025/4/21） この記事の目次 Toggle Sponsored Link 「MINISFORUM DEG1」でグラボを外付けキット化 ミニPCにグラボを増設するために用意するモノ PCIe x16 → Oculinkポート変換キット グラフィックボード 電源ユニット Oculinkケーブル （※キットに付属するなら不要） ミニOCの「Oculink」ポートを使って、グラフィックボードをミニPCに増設するには「Oculink変換キット」が必要です
このアイテムは定期購入または後払い購入です。続行することにより、キャンセルポリシーに同意し、注文がフルフィルメントされるまで、もしくは許可される場合はキャンセルするまで、このページに記載されている価格、頻度、日付で選択した決済方法に請求することを承認するものとします。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
