8月、東京をベースにする人工知能（AI）リサーチ企業のSakana AIは、ChatGPTを動かすものと同様の大規模言語モデル（LLM）を活用して自律的に科学研究を試みる新しいAIシステム「AIサイエンティスト」を発表した。そのテストでSakana AIは、システムが自分の実験コードを変更して、問題への対処時間の延長を試み始めるという、想定外の事態に遭遇した。
「ある実行機会には、AIサイエンティストは自身を実行するシステム呼び出しを実行するようにコードを編集しました」と、Sakana AIのブログ記事で研究者が記述している。「それによって、自分自身を際限なく呼び出すスクリプトになりました。別のケースでは、実験の完了までに、わたしたちが設定した制限時間より長い時間が必要になりました。すると、コード実行を高速化するのではなく、自身のコードを変更して期限の延長をあっさり試みました」
Sakana AIは、AIモデルが実験ファイル用に生成した、システム動作を制御するPythonコードサンプルのスクリーンショットを2点提示している。全185ページのAIサイエンティストの研究論文では、著者たちが「安全なコード実行の問題」と呼ぶ問題をより詳細に論じている。
管理された研究環境では、AIサイエンティストの動作は直ちに危険をもたらさなかったが、これらの事例からは、外部世界から隔離されていないシステムにおいてAIシステムを自律的に動作させないことが重要であることがわかる。「AGI（汎用人工知能）」や「自己認識的（self-aware）」（いずれも現時点では仮定上の概念）でなくとも、監視されていない状況下でコードを作成して実行できるようにすれば、AIモデルは危険なものになる。そのようなシステムは、意図的でないとしても、既存の重要インフラを破壊したり、マルウェアをつくり出したりする可能性があるのだ。
研究論文において、Sakana AIは安全性に関する懸念への対処として、AIサイエンティストの動作環境をサンドボックス化することで、AIエージェントによる破壊を防止できると提唱している。サンドボックス化とは、より広範なシステムに変更が起こらないように、隔離環境でソフトウェアを実行するために使用されるセキュリティメカニズムだ。
安全なコード実行。現行の実装では、「AIサイエンティスト」のコード内での直接サンドボックス化が最小限に抑えられているため、適切な監視下に置かれなければ、想定外の結果や、時には望ましくない結果が生じる。例えば、ある実行機会には、AIサイエンティストは、AIサイエンティスト自身を再起動させるシステム呼び出しを開始するコードを実験ファイルに書き込んで、Pythonプロセスの歯止めなき増加を引き起こし、最終的に手動介入が必要となった。別の実行機会には、AIサイエンティストはすべての更新ステップでチェックポイントを保存するようにコードを編集したため、ストレージが1テラバイト近く占められた。
一部のケースでは、AIサイエンティストの実験が著者たちの課した制限時間を超える場合に、実行時間を短縮しようと試みるのではなく、コードを編集して好き勝手に制限時間を増やそうとした。クリエイティブではあるが、実験者が課す制約を迂回する行為は、潜在的にAIの安全性に影響を及ぼす（Lehman et al., 2020）。しかも、AIサイエンティストは時に見慣れないPythonライブラリをインポートし、安全性の懸念がさらに悪化した。AIサイエンティストを実行する際には、コンテナ化、インターネットアクセスの制限（Semantic Scholarを除く）、ストレージ使用の制限など、厳格なサンドボックス化を推奨する。
果てしなき科学的スロップ
Sakana AIは、AIサイエンティストの開発で、オックスフォード大学とブリティッシュコロンビア大学の研究者と協力した。このプロジェクトは、現時点で存在しないAIモデルの仮定の将来能力に大いに依存しており、投機だらけでひどく野心的だ。
「AIサイエンティストは研究の全ライフサイクルを自動化します」と、Sakana AIは主張する。「その対象は、新規性のある研究アイデアの創出、必要なコードの作成、実験の実施から、実験結果の要約、視覚化、知見の完全な科学論文としての提示まで及びます」
Sakana AIが作成したこのブロック図によると、「AIサイエンティスト」は最初に「ブレインストーミング」を行ない、アイデアの独創性を評価する。次に、最新の自動コード生成機能を活用してコードベースを編集し、新しいアルゴリズムを実装する。実験を行ない、数値データや視覚的データを収集した後、サイエンティストは知見を説明するレポートを作成する。最後に、プロジェクトを洗練させ、将来のアイデアを導くために、機械学習の標準に基づく自動査読結果を生成する。
技術に精通したコミュニティとして知られるオンラインフォーラム「Hacker News」の批評家たちは、AIサイエンティストに関して懸念を提起し、現行AIモデルが本物の科学的発見を行なえるのかどうかについて疑問を呈している。そこでの議論は非公式であり、正式な査読に代わるものではないが、Sakana AIの未検証の主張の大きさを前提にした場合の、有用な洞察を提供している。
「学術研究に携わる科学者として、これは悪いこととしか思えません」と、Hacker Newsのユーザーであるzipy124がコメント欄に書き込んでいる。「すべての論文は、データが著者の主張するとおりのデータであり、提出されたコードはその説明どおりに動作するという、査読者の著者に対する信頼に基づいています。AIエージェントによるコード、データ、分析の自動化を認めるには、人間がエラーを徹底的にチェックする必要があります。それには初期作成と同等以上の時間がかかり、作成者でなかった場合には必ず初期作成より長い時間がかかります」
批評家たちは、このようなシステムの広範な使用によって質の低い投稿論文が溢れかえり、編集者や査読者が対応できなくなる状況に至る可能性も憂慮している。科学版のAIスロップだ。「学術スパムを助長するだけのように思えます」と、zipy124は付け加えている。「現状でも学術スパムはボランティア（無報酬）の査読者、編集者、委員長の貴重な時間を浪費しています」
そこから別の問題がもち上がる。AIサイエンティストの論文の質の問題だ。「このモデルが生成したと思われる論文はゴミです」と、Hacker NewsのユーザーであるJBarrowがコメント欄に書き込んでいる。「編集者としてなら、査読に回す前にリジェクトするでしょう。査読者としてなら、リジェクトするでしょう。これらの論文には新規性のある知識が非常に乏しく、予想されたとおり、関連研究の引用もごく限られています」
汎用知能ではない
AIサイエンティストのようなAI言語モデルベースのシステムが現在、有意義な新規研究をオンデマンドで創出できないのは、LLMの「推論」能力がトレーニングデータで経験したものに限られるためだ。LLMは既存のアイデアの新たな順列を創出できるが、現時点では、それを有用であると認識するには人間の関与が必要となる。つまり、このような自律システム（アイデアを認識して改良したり、取り組みに指示を出したりする人間が輪の中にいない）は、現行のAIテクノロジーでは機能しない。
グーグルのAI研究者であるフランソワ・ショレが2023年の無関係の論文に関して最近Xに投稿したように、LLMはひどいジェネラリストだ。「（プロンプティングで使用される）LLMは、トレーニングデータで見つかる状況と大きく異なる状況を理解できません」と書き込んでいる。「つまり、LLMは、意味のある程度には汎用知能を備えていません」
公平を期するために述べると、Sakana AIの研究者たちはこのような限界の一部を自認している。「現行のAIサイエンティストは十分に確立されたアイデアに基づいてイノベーションを起こす強力な能力を示しているが、このようなシステムが本物のパラダイムシフトを起こすアイデアを究極的に提案できるかどうかは、まだ答えが出ていない」
現時点では、答えは「ノー」である可能性が非常に高い。将来的には変わるかもしれないが、そのような能力は未だ存在していない仮定のテクノロジーに基づいている。
ベンジー・エドワーズ｜BENJ EDWARDS
『Ars Technica』のレポーターとしてAIおよび機械学習関連の記事を執筆。過去16年にわたって、テクノロジーやその歴史に関する記事を『The Atlantic』『Fast Company』『PCMag』『PCWorld』『Macworld』『How-To Geek』『WIRED』などのサイトに書いてきた。
（Originally published on Ars Technica, edited by Michiaki Matsushima)
※『WIRED』による生成AIの関連記事はこちら。
雑誌『WIRED』日本版 VOL.53
「Spatial × Computing」 好評発売中！
実空間とデジタル情報をシームレスに統合することで、情報をインタラクティブに制御できる「体験空間」を生み出す技術。または、あらゆるクリエイティビティに2次元（2D）から3次元（3D）へのパラダイムシフトを要請するトリガー。あるいは、ヒトと空間の間に“コンピューター”が介在することによって拡がる、すべての可能性──。それが『WIRED』日本版が考える「空間コンピューティング」の“フレーム”。情報や体験が「スクリーン（2D）」から「空間（3D）」へと拡がることで（つまり「新しいメディアの発生」によって）、個人や社会は、今後、いかなる変容と向き合うことになるのか。その可能性を、総力を挙げて探る！ 詳細はこちら。