気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MLX SwiftでMeta Llama 3を動かす
macOSやiOSデバイスでLLMの推論を動かすにはllama.cpp[1]やMLX[2]が利用できます MLXはAppleによるプロ... macOSやiOSデバイスでLLMの推論を動かすにはllama.cpp[1]やMLX[2]が利用できます MLXはAppleによるプロジェクトでSwift APIも公開されています[3] MLX Swiftを使ってデバイス上でLLMを実行するにはMLX Swift Examplesリポジトリで公開されているソースコードが参考になります この中のLLMEvalというアプリは、Hugging Faceから任意のモデルをダウンロードしてきてテキスト生成を実行します。MacとiOSでも動作します LLMEvalは標準で以下のモデルに切り換えて実行できます Llama 3を動かす リストされているllamaはCodeLlamaなので、ここにLlama 3を追加して動かしてみます LLMEvalが依存しているLLMライブラリ(MXLL)のソースコードを更新します Models.swiftに以下のように
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
2024/04/29 リンク