「プログラミング教育について語る会 」で話した内容をまとめておきます。 「AI時代のプログラミング教育」としたのだけど、内容的には「コンピューティング能力を伸ばそうぜ、その道具としてプログラミングしよう」みたいな話になりました。 Nextbeat Tech Bar：第二回プログラミング教育について語る会 - connpass 資料はこちら まず前提として、AIのコーディング能力が7ヵ月で倍になっているというのがあります。なので、今現在の能力で話をしてもあまり意味がなく、ゆくゆくはかなりのレベルでAIがコードを書くという想定をしておいたほうがいいです。 元ネタのツイートはこれ https://x.com/METR_Evals/status/1902384481111322929 論文はここ [2503.14499] Measuring AI Ability to Complete Long
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
そうなると人間のやることは何になるかというと……微調整？ 迫りくる赤い電子を避けて進もう。電子の間の黄色線を通って得点アップ https://t.co/VDjGACbzZi pic.twitter.com/u7STpP3cJu— ABA (@abagames) 2025年1月25日 このゲームをClaude 3.5 Sonnetや、いくつかの画像・音楽生成AIを使って作ってみた。ここではこれを具体的にどう作ったかを説明したい。生成AIを使ったミニゲーム開発プロセスの参考になれば幸いである。 まずはアイデア作りから。 このリポジトリの中にあるKnowledgeをClaudeに与えて、テーマを入力すれば、いくつかのワンボタンアクションミニゲームのアイデアをClaudeが生成する。Knowledgeには今まで私が作ったゲームのコードとその説明や、ワンボタンにどのようなアクションを割り当てることが
巷では「AIエージェント」のワードをよく見かける一方、何をAIエージェントと定義するのか自分もフワっとしていたので、2024年12月20日に公開されたAnthropicの「Building effective agents」の記事を読んでみました。 「AIエージェントの定義ははっきりと定まっていません」みたいな文言は方々で見ますが、各社がどういう見解でそのワードを使っているのか、なんとなく理解することはできます。 ちなみに、以下の「うたたね / Masaki Otsuki」さんの記事では各社がどのような位置付けとしているのかがまとまっており、私も勉強させていただきました。ありがとうございます。 ※本記事ではAnthropicの記事に焦点を絞り、記事の内容を元に記述しています。 エージェントとワークフローの違い ワークフロー: LLMとツールが事前定義されたコードのパスを通じて調整されるシス
以下の文章は、コリイ・ドクトロウの「AI’s “human in the loop” isn’t」という記事を翻訳したものである。 Pluralistic AIが重要な意思決定を行う、あるいは意思決定を支援する能力には問題がある。しばしばAIは、人間のリソースの限界を超えるスピードと規模で、優れた精度で物事を分類する。その一方で、時として極めて深刻な間違いを犯し、取り返しのつかない事態を招くこともある。 官僚機構と、彼らにAIを売り込もうとするセールスマンたちは、労働集約的なプロセスをアルゴリズムで自動化することで、大幅にコスト削減できると期待に胸を膨らませている。比較的リスクが低く、導入の判断が容易なケースもある。たとえば先日、ブリュースター・ケールは、図書館から廃棄される予定の大量のマイクロフィルム化されたジャーナルをスキャンするInternet Archiveのプロジェクトについて語
![「人間がAIを監督する」という幻想 | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/ec3526cca319dd7f62b09b5b1d294dfba91a2ddc/height=288;version=1;width=512/https%3A%2F%2Fsiteproxy.ruqli.workers.dev%3A443%2Fhttps%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F10%2Fhuman-in-the-loop.jpg)
AI研究者がノーベル物理学賞・化学賞を受賞したことについてのコメント2024年10月10日 一般社団法人 人工知能学会 会長 栗原 聡 今回のノーベル物理学賞において，ジョン・ホップフィールド，ジェフリー・ヒントン両先生が受賞され，翌日の化学賞においてデミス・ハサビス氏が受賞したことについて，まずはAIコミュニティにとってとても喜ばしく，この流れが今後も続くことが期待されることは，基礎研究の重要性の今更の再認識においても強い説得力がある出来事であったことは間違いない．ホップフィールド氏、ヒントン氏、お二人の物理学賞受賞を知った時は正直驚いた，というか意表を突かれた感覚であった．自然科学や宇宙についての発見やその人類への貢献に対する物理学賞というのが一般的な認識である中，情報処理に関する研究が受賞したのであるから驚いたのは当然であろう．確かに，我々の脳の機能をコンピュータ上で再現した，すなわ
ソーニャ・ホアン: 本日はノーム、ハンター、イルゲをお迎えしました。3人はOpenAIのプロジェクト・ストロベリー、別名o1の研究者です。o1はOpenAIが初めて本格的に取り組んだ汎用推論時計算で、推論、思考連鎖、推論時スケーリング則などについてチームと話し合うのを楽しみにしています。 o1への確信ソーニャ・ホアン: イルゲ、ハンター、ノーム、お越しいただきありがとうございます。そしてo1の公開おめでとうございます。まず伺いたいのですが、これがうまくいくという確信は最初からありましたか? ノーム・ブラウン: この方向性に何か有望なものがあるという確信はあったと思いますが、実際にここに至る道筋は決して明確ではありませんでした。o1を見てみると、これは一夜にしてできたものではありません。実際、何年もの研究が投入されており、その研究の多くは実際には実を結びませんでした。しかし、OpenAIとリ
ホーム > 新着情報：プレスリリース > 2024年09月 > AIによってナスカ調査が加速したことで、既知の具象的な地上絵の数がほぼ倍増し、地上絵の目的が明らかになった 掲載日：2024.09.24 本発表の主なポイント 山形大学ナスカ研究所とIBM研究所の共同研究プロジェクトの成果が、Proceedings of the National Academy of Sciences (PNAS) に掲載されることが決定した。 AIによって加速化された調査によって、6か月間の現地調査で新たに303個の新地上絵が特定された。これにより、ナスカ台地で確認済みの地上絵の数はほぼ倍増した。 巨大な線タイプの地上絵は、主に野生動物が描かれており、直線と台形の地上絵によって構成されるネットワークに沿って分布している。これらは、共同体レベルの儀礼活動に使用された。 小型の面タイプ（レリーフタイプ）の地上絵
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
AI研究者のライアン・グリーンブラット氏が、AIの一般的な推論能力を評価する指標の「ARC-AGI」において、GPT-4oを工夫して使用することで50％という正答率を達成できたと発表しました。 Getting 50% (SoTA) on ARC-AGI with GPT-4o https://redwoodresearch.substack.com/p/getting-50-sota-on-arc-agi-with-gpt ARC-AGIでは下図のようにいくつかの例と問題が用意されます。例からルールを推測して正しく問題の図に対応する結果を出力できればOK。人間がこのタスクを行うと子どもであっても85％から100％のスコアを出すことができますが、これまでAIが出したARC-AGIの最高スコアは34％であり、数多くのベンチマークの中でも特に人間との差が顕著でした。 上記の問題はシンプルなため特
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
花笠監督の「私立GPT北高校」でグランシュライデ２週目キャラ演じてみたんだけど、面白すぎるｗ いかん、これはハマるｗ https://t.co/jNaQSFjJoZ pic.twitter.com/dGsmjfYCdr — らけしで (@lakeside529) November 10, 2023 実際に100人ぐらいの人が現時点でプレイしてくれてますね。 ありがたいですね。 GPTsの実際の作り方まずGPT Builderを立ち上げましょう。よくわからん場所にあります。 PCで立ち上げて左上を見ましょう。 Exploreってあるよね。そこ。 そこを押すと、よくわかんないリストの一番上に「+」マークが出るじゃない。それを押すのです。 そうするとこういう画面に来ますわね。 ここで画面左側、Createのタブで普段通りつくりたいGPTをテキストで打っていってもいいんですが。。。これって結局ここ
IT屋のCopilotとかに対する温度感と絵師界隈のStable Diffusionとかへの温度感が違うの、 IT屋はバカが少ないからとかじゃなくて実際に脅威度が違うからだと思うんだよな うんこ💩ちんちん エンタメ分野は「正しい仕様」もクソもなく消費者が満足して売上が出ればそれが正義だからイラストレーターとイラスト生成AIはダイレクトに競合するけど うんこ💩ちんちん プログラミングには「正しいコード」「間違ったコード」が確かに存在して、AIがバグったコードや仕様を満たさないコードが吐いてたときに、AI自体もAI企業も責任取らないから、 AIにコード書かせるとしてもそれを読んで「これで大丈夫です」と保証して、ダメだったら責任を取る人が必要とされ続ける うんこ💩ちんちん 曖昧で正解のない分野ほどAIに任せやすくて正しさが必要な分野の方で人間が必要っていうのは 大昔の素朴なAI観とは反対で
恒例の年末振り返り記事ですが、もうタイトルが示す通りです。例年通りであれば淡々と1年間の業界動向や個人的な学び、はたまたちょっとした私事などを綴るのですが、今年はたまたま良いお題がやってきたのでまず最初にその話を書こうと思います。 生成AIの爆発的な普及と、それに伴って生じた課題 AIやデータサイエンスの「外側」の本質にアプローチするのが、ヒトのなすべき仕事 最後に、改めて年末の振り返りを 生成AIの爆発的な普及と、それに伴って生じた課題 今年は多くの生成AIプロダクトが公開され普及し、それに伴い文字通り正真正銘空前の生成AIブームが到来し、個人や企業のみならず霞ヶ関までもが、そしてついには政府与党までもがこぞって「生成AIの活用」を模索して立ち回るという有様になりました。書店に行けば生成AI関連書籍が棚一面を埋め尽くすという大盛況で、毎日のようにどこそこの大企業が生成AIを導入した〇〇サ
Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n 2023-01-29 10:51:36 Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n 2023-01-29 1
AIは意識を持っているのか/持つのか、AI研究者と意識研究者たちが共同研究した結果 2023/8/28 メンタルヘルス・心理学 政治・社会 有料記事 論文 AIDB Research AIが意識を持つ可能性についての議論が再燃しています。この問題は昔から、科学的にも哲学的にも注目が集まっています。 今回、オックスフォード大学、モントリオール大学、ARAYAなどの研究者たちは、AIが意識を持つ可能性についての科学的根拠を提供するための研究を行いました。彼らは、神経科学の理論に基づいてAIの意識の有無を評価する新しいアプローチを提案しています。 先に結論を書くと、『今のAIは、まだ意識を持っているわけではない』 『ただし、この先、AIが意識を持つことを妨げる”明確なハードルはない”』とのことです。 参照論文情報 タイトル：Consciousness in Artificial Intellig
概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
