気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LLMのモデルパラメータ数とGPUメモリ使用量について - Qiita
1. この記事の目的 最近は右も左もLLMという風潮 ぜひ、自分のPCで使ってみたいと思ったが、パラメータ... 1. この記事の目的 最近は右も左もLLMという風潮 ぜひ、自分のPCで使ってみたいと思ったが、パラメータ数◯Bという表記 馴染みの無い（特に日本人には）単位で実際にどこまでのサイズが自分の PCで実行できるか、分からず検証してみようと 2. GPUメモリ使用量について LLMのGPUメモリ使用量の計算方法 推論に必要なメモリは大まかに FP16の1パラメータ(2バイト)に対してパラメータ数◯Bとすると $必要なメモリ(GB) = 2 \times ◯$ となります。意外とシンプルです。 [1] GPUメモリ使用量の実測 GPUtil[2]を使用して次のコードで計測。 import GPUtil def get_gpu_used_memory(device_id): byte_gpu_used_memory = GPUtil.getGPUs()[device_id].memoryUsed
