https://www.inceptionlabs.ai/news Inceptionという会社のMercuryという拡散言語モデルがすごい。 いつか出るだろうと思っていたのだが、なかなか姿を見せなかった、拡散言語モデルである。 スピードの差は一目瞭然 速すぎワロタいまAIは、「頭の良さの差」を競う段階に来ている。 「頭の良さ」を測る尺度はたくさんあるが、僕は答えの用意されたテストを解くことをたいして良い尺度だと思っていない。まあ答えの用意されたテストしか解いてこなかった人たちにはそれでも十分な尺度なのだと思うが。 ただ、「考える速さ」というのは間違いなくひとつの尺度だし、その点で言うとMercuryは速すぎなのである。 なぜMercuryがこんなに速いのか。 それは、Transformerじゃないからだ。 TransformerにしろRWKVのようなRNNにしろ、「ここまで書いたから続き
