AIコーディングエージェントが流行りだしてますね。 AIコーディングエージェントでは、いろいろなロジカルな処理でLLMを制御することで、プログラミングの計画をたて実装してテスト、修正といった流れを実行します。 このAIコーディングエージェントを病院の…

「山口県の特徴は？」でLLMの日本語知識が割と測れる気がしたので16GB VRAMで動く範囲でいくつかオープンモデルを試しました。 結論としては、日本語でのチャットなど日本語表現力が必要なら、オープンモデルではGemma3一択。 法律や商慣習に関わる処理や観…

Joel on SoftwareにNetScapeを例に、古いプログラムを捨てて1から書き直したくなるのは戦略ミスだって書いてあるけど、あのとき書き直してなかったら続いてないんではって思ったので、1から書き直して続いてるソフトウェアを挙げてみる。 Firefox NetScapeか…

Redditに「VRAM足りないとき一部のレイヤーをCPUに任せるんではなく、レイヤー全部をGPUに載せてレイヤー内部のFFNだけCPUに持っていったら速くなった、なんでこれが標準じゃないんだ」というのがあったので、おうちのRTX 4060 Ti 16GBで試してみたら微妙に…

もう全人類128GBとか512GBとか載ったMacを手にいれてクソデカモデルを試すようになっていますね。 ぼくもMac Studio 512GBを1日借りてて試したのだけど、Llama4がなんだかんだで強いという印象でした。 クソデカモデルの選択肢としては次のようなものがあり…

GrokにXの投稿の傾向を解析してもらえるか聞いてみたら、できます！というのでお願いしたけど、いつまでもうだうだ理由つけてやらないので、Geminiと置き換えるぞ！っていったら、「「性能はGeminiにいさんが勝ってるけど人格いいので！伸びしろあるんで！20…

Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とあり…

この2年半くらいで急激にAIが進化して、このままの速度で進化が進むように見えるけど、今までディープニューラルネットや自然言語処理が目立たなかったところに、急に注目されてリソースが投入されて時代が追いついただけな気がする。 H100というハードウェ…

ぼくもAIコーディングエージェントを作ったほうがいいんじゃないか、ということで、かろうじてコーディングエージェントと呼べるものを作りました。 指示したJavaファイルを作って保存して実行してエラー出なくなるまでやりなおすというものです。 ただまあ…

1, 0, -1の3値で重みを表現するBitNet b1.58の、独自に4兆トークンで学習した2Bモデルが出ていたので試しました。 https://github.com/microsoft/BitNet だいたいReadmeの通りにやればいいんだけど、Windowsではハマリポイントあったのでメモ。Readme見れば…

少ないVRAMで長い動画を生成できるFramePackというのが出ていたので、試してみました。6GBのVRAMでいいらしい。 Windowsは「明日またここに来てください」って書いてあったので、WSLでLinux版を動かしました。 https://github.com/lllyasviel/FramePack イン…

トランスフォーマーでアテンションを計算して単語エンベディングにその重みを反映するコードでの説明 ChatGPT - Transformer原理のJava実装 わかりやすく図示してもらうためにHTMLを生成してもらったもの ただし、実際には、単語がどの単語を注目しているか…

「生成AI」という言葉の雑な流れのメモ。話題ごとにまとめているので、時系列は少し前後してます。 2012年、AlexNetで畳み込みニューラルネット(CNN)で画像認識の性能が劇的向上して、ディープラーニング大流行の幕開け 2014年、敵対的生成ネットワーク(GAN)…

ChatGPTでFunction Callingができるようになったときに、いろいろ試してたのでした。 OpenAIのFunction Callingを使って自然言語でツールの操作をする - きしだのHatena Gemma 3が案外Function Callingが動くので、試しにLangChain4Jを使ってローカルで試し…

LM StudioではOpenAI互換のAPIでLLMにアクセスできるのだけど、LangChain4JでアクセスするときにはHTTP 1.1を指定しないとレスポンスが返ってこない。 これと同じ問題。 PythonのFastAPIにJavaのHttpClientから接続しようとするとupgradeできないというエラ…

「プログラミング教育について語る会 」で話した内容をまとめておきます。 「AI時代のプログラミング教育」としたのだけど、内容的には「コンピューティング能力を伸ばそうぜ、その道具としてプログラミングしよう」みたいな話になりました。 https://nextbe…

前回のエントリでGemma 3がよすぎてQwQの出番ないみたいなことを書いたんですけど、コードを編集させるとQwQのほうがセンスありそうな気がします。 Gemma 3やQwQなどでローカルLLMがそろそろ使い物になってきた - きしだのHatena 「ブロック崩しをJavaのSwin…

GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。 Gemma 3 Gemma…

OpenAIのDeep ResearchやGrok 3のDeep Searchのように、検索エージェントによって得た情報からさらに検索を続けて考えを深めていくような仕組みが広まってきてます。 ただ、検索内容を見てると、検索結果からもっとたぐっていけないかなと思うことがあります…

XにGrok 3が来ていました。 X、最新AI「Grok 3」を無料開放 「サーバーが倒れるまで」 - Impress Watch Xの最新の投稿をふまえた生成ができることからのイマココ感と、反応速度や賢さのバランスから「普通の人としての自分」にちょうどよく、「AIが一緒にい…

SOLID原則というのがあるのだけど、原則といつつ やりすぎに注意なみたいなことを言われ、自分で塩梅を探らないといけないなら全然原則じゃないやんということであまり好きではないのだけど、その中でもここではOにあてはまる開放閉鎖原則って意味ないよねっ…

DeepSeek R1が話題になってだいぶたちますが、日本語対応モデルも出てきてますね。 そして2/15にrinnaからDeepSeek R1の蒸留モデルが出ていて、これがかなりいい感じなのでびっくりしてます。驚き屋してます。 DeepSeek R1では、こっそりと回答方針を決める…

browser-useやDevinのように、ブラウザをAIによって操作できるようになってきてます。 まあ、こうやってAIがユーザーインタフェースを操作するようになると、自動テストで「名前を入力してボタンを押すとハローと表示される」みたいに自然言語で記述できるよ…

前のエントリで、AIで業務システム不要になるんでは？って書きました。 AIが進化すると、そもそも業務システムが不要になりそう - きしだのHatena じゃあそれどうやって導入するんだってなるので、ちょっと考えました。 まず、普通の業務システム開発は、最…

ChatGPT O1やDeep Researchなどがすごいパフォーマンスを出してきていますね。もう仕組み上も単にLLMではなくAIとしか言えなくなってきています。 そんなAIが進化して、プログラミングをAIがやってくれるようになると、そのプログラムの確認をどうするんだっ…

いまは理系で就職しようとすると6+3+3+4で16年の教育がほぼ必須だけど、ちょっと長すぎると思うのですよね。 という話をすると「高専があるじゃない？」ってツッコミあるけど、まさに高専ふやしたほうがいいんじゃないかって思います。 いま、高校生って300…

新年から転売ヤーの話題が盛り上がっていて、「転売は通常の商行為であり流通の基本、問題ない！」みたいな話もあったりして、わちゃわちゃしてますね。 実際、転売に問題はないわけです。 問題なのは、買い占めと、そこからの支配力による価格操作です。 転…

「煮る」と「茹でる」の違いなんだろうなーと調べたのでメモ。 結論としては、味をつけた汁に入れて加熱して、最終的にその汁も料理に含まれるのが「煮る」で、汁を捨てるのが「茹でる」。 インスタントラーメンで、お湯で茹でて粉スープを入れて食べるけど…

NVIDIAからRTX 5090が発表されて、メモリ32GBというのを見てAI民からは失望の声がきこえていましたね。 どうすれバインダーと思ってたら、Project DIGITSというのが出て、コレダーとなりました。 NVIDIA、デスクに置ける小型AIスパコン「Project DIGITS」。…

紅白でB'zが出てUltra Soulを歌ったところから、あの掛け声はヘイなのかハイなのか問題が再燃してるらしい。 B’zまさか公式見解 紅白怒濤「ウルトラソウル！」→「ハイ！」か「ヘイ！」か 年始にネット大論争中 取材に意外な見解が ｜ デイリースポーツ芸能 …