Summary Adaptation is one of the most remarkable phenomena in nature. From the way an octopus can change their skin color to blend into its surroundings, to how the human brain rewires itself after an injury, allowing individuals to recover lost functions and adapt to new ways of thinking or moving. Living organisms exhibit adaptability that allows life to flourish in diverse and ever-changing env
生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、論文速報サイト「arXiv（アーカイブ）」である。そんなarXivの投稿論文から、2024年12月15日から2025年1月19日にSNSのX（旧Twitter）で多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。対象はXの全世界のオリジナル投稿、コメント、再投稿、引用投稿である。 東京を拠点とするSakana AIと東京科学大学の研究チームは2025年1月9日、大規模言語モデル（LLM）が自律的にタスクを理解し、リアルタイムに適応する新しいフレームワーク「Transformer2」を発表した。このフレームワークを解説した論文「Transformer2: Self-adaptive LLMs」は、世界のSNS言及数ランキ
近年、機械学習分野で大きな成果をあげているTransformer[1]において、その中核をなすScaled Dot-Product Attention[1]には、革新的な仕組みが備わっています。その仕組みとは、後で詳しく説明しますが、入力に応じて重みを動的に変えることが可能なニューラルネットワークで、これにより驚くほど広範囲で膨大な情報に対する適応性と表現力を実現することができます。本記事では、Scaled Dot-Product Attentionのこの仕組みとその利点について解説し、私なりの解釈を紹介できればと思います。 先に結論を簡単に まず、結論から説明すると、Scaled Dot-Product Attentionは、入力に基づいて重みを変えることが可能なニューラルネットワークという解釈が可能です。ただし、Scaled Dot-Product Attentionは学習パラメータを
TL; DR OpenAI が非常に高品質な動画生成モデル Sora を公開 画像生成モデル Diffusion-Transformer を利用 動画を3次元画像として扱うことで画像モデルを拡張 キャプションは DALL•E3 同様、キャプション生成モデルで作成 OpenAI Sora Sora は OpenAI が今年の2月に発表した、動画生成モデルです。まずはこのモデルの出力例を見てみましょう。 図1. Sora の生成例: https://cdn.openai.com/sora/videos/big-sur.mp4 各フレームの画像が非常に美しく生成されています。また、従来の動画生成では時間が経った際に写っているオブジェクトを保つことが難しく、消えたり現れたり、急に歪んだりするものが多かったのに対し、Sora では一度隠れてから再度現れる場合であっても、矛盾なく生成できています。 こ
こんにちは、品川です。Vision Transformer入門という本の執筆に参加しました。いよいよ本格的な販売がはじまります。どんな本なのか注目してくださってる方もいらっしゃると思うので、著者陣の一人の視点から執筆の背景と書評を少しだけ書こうと思います。 gihyo.jp 執筆の背景 書評 第1章 TransformerからVision Transformerへの進化 第2章 Vision Transformerの基礎と実装 第3章 実験と可視化によるVision Transformerの探求 第4章 コンピュータビジョンタスクへの応用 第5章 Vision and Languageタスクへの応用 第6章 Vision Transformerの派生手法 第7章 Transformerの謎を読み解く 第8章 Vision Transformerの謎を読み解く 手薄になっている内容 執筆の背
はじめに 事前準備 実装の概要 環境音合成実験 実験条件 実験結果 実装の舞台裏など おわりに はじめに 以前、Onoma-to-Waveを実装した記事を書いたことがあった： tam5917.hatenablog.com Onoma-to-Waveとはオノマトペ（文字列）を環境音（スペクトログラム）に変換するモデルである。RNNに基づくencoderとdecoderから構成されており、いわゆるSequence-to-Sequence（Seq2Seq）の構造を持つ。 それらをTransformerによって置き換えたモデルが、Onoma-to-Waveの著者らによって実はすでに提案されている。 岡本 悠希，井本 桂右，高道 慎之介，福森 隆寛，山下 洋一，"Transformerを用いたオノマトペからの環境音合成，" 日本音響学会2021年秋季研究発表会，pp. 943-946，2021. 上
こんにちは AIチームの戸田です 今回は日本語NLPライブラリであるGiNZAのv5から実装されたTransformerモデルによる固有表現抽出を試します。 固有表現抽出とは、入力となる自然文から地名や製品名などの固有名詞を抽出するタスクです。今回固有表現抽出に使用するデータセットとして、ストックマーク株式会社が作成したWikipediaを用いた日本語の固有表現抽出データセットを使用します。また、Transformerモデルは処理に時間がかかるので、環境はGoogle ColaboratoryのGPU環境を利用しました。 事前準備 wgetを使ってデータセットをダウンロードします。 wget https://raw.githubusercontent.com/stockmarkteam/ner-wikipedia-dataset/main/ner.json 必要なpythonライブラリをダ
The technology has resulted in a host of cutting-edge AI applications — but its real power lies beyond text generation
今、AI（人工知能）によりロボットの世界が様変わりしようとしている。人間は五感を使って周囲の環境を認識し、行動する。同様にロボットも、外部環境と適切にインタラクションするために、視覚、聴覚、触覚など複数の感覚器を使って、異なる種類のデータ、すなわちマルチモーダルなデータを統合的に処理し、動作を生成する能力が必要になってくる。 環境の認識から動作の生成までを扱うEnd-to-End モデル 従来のロボットは感覚器ごとに処理が異なり、動作の生成も感覚器の処理とは独立していた。ところが近年のAI、特に大規模言語モデル（LLM：Large Language Model）の中核をなす「Transformer」は、単体でマルチモーダルなデータの扱いを可能にした。それだけではない。同じTransformerモデルによって複雑な動作も生成できるようになってきた。 これは、環境の認識から動作の生成までを1つ
こんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。 本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。 Transformersとは？ 日本語学習済み言語モデル Pipelines Trainer 固有表現抽出とは？ 実際に日本語NERTを試してみる 必要な各種依存ライブラリのインストール 使用するデータ 日本語固有表現抽出データセットでのFine-tuning Pipelinesを使った固有表現抽出 実行例 おわりに 参考 Transformersとは？ TransformersはHuggingFace社が公開しているPython用ライブラリで、BERTを始めとするTransformer系の言語モデルを使用する際のデファクトスタンダードになっています。また、最
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 今回のブログでは、発展を続ける「自然言語処理」技術の中から、さまざまな自然言語処理の課題を非常に高い精度で解決する「Transformer」モデルをテーマに、なぜ分析精度が高いのかを解説します！ はじめに こんにちは、アナリティクス本部アナリティクスサービス部の董です。 2017年に Google が発表した「attention is all you need」という論文で提案された「Transformer」は、機械翻訳や文章カテゴリの分類、文章生成等、さまざまな自然言語処理の課題を非常に高い精度で解決し、革命的な進歩で発展しています。当社でもTransformerモデルを業務に生かすことで、これまでは不可能だった分析が可能となっています。 本ブログでは、「なぜTransformerモデル
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Transformerを理解するのにこの動画がかなりわかりやすかった。 3Dアニメーションで説明してくれる https://t.co/VUnkCFMDVB https://t.co/4f3zOxsDbv
Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-t
For the last 40 years, BM25 has served as the standard for search engines. It is a simple yet powerful algorithm that has been used by many search engines, including Google, Bing, and Yahoo. Though it seemed that the advent of vector search would diminish its influence, it did so only partially. The current state-of-the-art approach to retrieval nowadays tries to incorporate BM25 along with embedd
Call center quality monitoring elevates the customer experience. Discover when to use real-time vs post-call methods for top-notch service.
3つの要点 ✔️ TransformerとCNNを組み合わせたモデル，Conformerを音声認識に応用 ✔️ 畳み込みモジュールがConformerにおいて最も重要であることがわかった ✔️ 既存の音声認識研究の中でも最高の精度を確認 Conformer: Convolution-augmented Transformer for Speech Recognition written by Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, Ruoming Pang (Submitted on 16 May 2020) Comments: Accepted at Interspeech20
TeslaはAIイベント「AI Day」で自動運転車開発の最新状況を公開した。自動運転の中核技術は高度なコンピュータビジョンで、これを開発するためにはAIスパコンが必要となる。TeslaはAIプロセッサを開発し、これをベースに独自のAIスパコンを構築した。更に、自動運転技術をロボットに応用したヒューマノイドを開発することを明らかにした。 発表概要 Teslaの自動運転技術は「Full Self-Driving(FSD)」(上の写真)と呼ばれ、他社とは異なり、カメラだけでクルマが自律走行する。AIはカメラの映像を解析し周囲のオブジェクトを把握するが、ニューラルネットワークの規模が巨大になり、また、アルゴリズムを教育するために大量のデータを必要とする。このため、Teslaは独自でAIプロセッサ「D1 Chip」を開発し、アルゴリズム教育を超高速で実行する。自動車メーカーがスパコン開発まで手掛け
Pretrained Foundation Models (PFMs) are regarded as the foundation for various downstream tasks with different data modalities. A PFM (e.g., BERT, ChatGPT, and GPT-4) is trained on large-scale data which provides a reasonable parameter initialization for a wide range of downstream applications. BERT learns bidirectional encoder representations from Transformers, which are trained on large datasets
A Quick Overview �to Unlock the Potential of LLMs �through Prompt Engineering
In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurre
著者のDale Markowitz氏はGoogleクラウド部門に所属するGoogle社員で、最近ではGoogle主催の開発者会議Google I/O 2021で「機械学習のよくある問題の発見と解決」というセッションを担当しました。同氏がMediumに投稿した記事『Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する』では、現代の言語AIにおける技術的基礎となっているモデルのTransformerが数式を使わずに解説されています。 Transformer以前に自然言語処理で使われていたモデルは、リカレントニューラルネットワーク（Recurrent Neural Network：RNN）でした。このモデルには長い文章を正しく処理するのが難しい、勾配消失問題の影響を受けやすい、そして処理の並列化が難しいためにモデルの大規模化が困難、というみっつの欠点があったため、自
How has DeepSeek improved the Transformer architecture? DeepSeek has recently released DeepSeek v3, which is currently state-of-the-art in benchmark performance among open-weight models, alongside a technical report describing in some detail the training of the model. Impressively, they’ve achieved this SOTA performance by only using 2.8 million H800 hours of training hardware time—equivalent to a
昨今のChatGPTやMidjourneyなど、さまざまなジェネレーティブAIを支えるニューラルネットワークアーキテクチャである「Transformer」は、2017年にGoogleの研究者8人によって発表されました。しかし、Transformerの開発に携わった研究者は全員Googleを退職していることが報じられています。 Ex-Google Scientists Kickstarted the Generative AI Era of ChatGPT, Midjourney - Bloomberg https://www.bloomberg.com/opinion/features/2023-07-13/ex-google-scientists-kickstarted-the-generative-ai-era-of-chatgpt-midjourney 2017年にGoogleの研究
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
Jun 1, 2022Download as PPTX, PDF10 likes16,846 views
Decision transoformer (2021)は、自然言語モデルGPTにおける次トークン予測の枠組みでオフライン強化学習タスクを解けることを示し新たなパラダイムをもたらしました。最近ではDeepMindの超汎用エージェントGATOなどもDecision Transformerベースのアーキテクチャを採用しており、その重要性が増しています。 Decision Transformer とは オフライン強化学習の新たなパラダイム 言語を生成するように行動を生成する 自然言語風アプローチのメリット 条件付き生成：Reward conditioned Sequence modelingの系譜 Multi-Game Decision Transoformer（NeurIPS 2022） Uni[Mask]（NeurIPS 2022）： MaskedLMの導入 GATO（2022）：超汎用エー
AIは意識を持っているのか/持つのか、AI研究者と意識研究者たちが共同研究した結果 2023/8/28 メンタルヘルス・心理学 政治・社会 有料記事 論文 AIDB Research AIが意識を持つ可能性についての議論が再燃しています。この問題は昔から、科学的にも哲学的にも注目が集まっています。 今回、オックスフォード大学、モントリオール大学、ARAYAなどの研究者たちは、AIが意識を持つ可能性についての科学的根拠を提供するための研究を行いました。彼らは、神経科学の理論に基づいてAIの意識の有無を評価する新しいアプローチを提案しています。 先に結論を書くと、『今のAIは、まだ意識を持っているわけではない』 『ただし、この先、AIが意識を持つことを妨げる”明確なハードルはない”』とのことです。 参照論文情報 タイトル：Consciousness in Artificial Intellig
Transformer model architectures have garnered immense interest lately due to their effectiveness across a range of domains like language, vision and reinforcement learning. In the field of natural language processing for example, Transformers have become an indispensable staple in the modern deep learning stack. Recently, a dizzying number of "X-former" models have been proposed - Reformer, Linfor
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Technologies Gemini Robotics brings AI into the physical world Introducing Gemini Robotics and Gemini Robotics-ER, AI models designed for robots to understand, act and react to the physical world.
RWKVとは 昨今GPTをはじめとしたtransformerベースの大規模言語モデルが流行しています．transformerの重要な要素であるSelf-Attentionは，長距離の依存関係を学習するできるというメリットがある一方で，シーケンス内のすべての要素と他のすべての要素との依存関係を計算するために，計算量とメモリ使用量がシーケンス長の二乗（つまり、トークンの数の二乗）に比例してしまうという問題があります． 一方でRNNベースのモデルは，メモリと計算要件の面で線形にスケールしますが、並列化と拡張性の制限からtransformerと同等の性能を達成することが困難です． そこで，transformerの効率的な並列学習と，RNNの効率的な推論の両方を兼ね備えたモデルとしてRWKV（Receptance Weighted Key Value）という新たなモデルアーキテクチャーが提案されまし
人間の脳の消費エネルギーは電力に換算するとわずか20ワットほどであり、消費電力数百ワットのGPUを何百～何千個も学習に使う最先端のAI（人工知能）に比べるとはるかに省エネである。そこで脳の動きに習って、AIの省エネを図ろうとする動きが始まっている。代表例が米Google（グーグル）の言語モデルSwitch Transformerだ。 言語モデルは最近非常に注目されている自然言語処理用のAIだ。米国のOpenAI（オープンAI）財団が2020年6月に発表した言語モデルであるGPT-3は、あたかも人間が書いたような自然な文章を作ったことから大きな話題になった。しかしGPT-3は膨大なエネルギーを消費する。 GPT-3が高性能なのは、1750億個ものパラメーターを備えた機械学習モデルに45テラバイト（TB）、4100億単語からなる巨大な文書を学習させたからだ。その学習には米Microsoft（マ
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！ 2021.05.26 AI論文 学術研究, 画像処理, 自然言語処理 はじめに Google Brainが全結合層を基本としたニューラルネットワークがTransformerと同程度の精度を出すことができることを研究で明らかにしました。この結果、NLP（自然言語処理）だけではなく、最近ではCV（画像処理）の分野でもデファクトスタンダードになりつつあったTransformerをベースとしたモデル構成に再考が求められることになります。 なお、今回利用した図はすべて下記論文（「Pay Attention to MLPs」）から引用しております。 ●Transformer系の解説記事 Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹
皆さん、「AI」や「深層学習モデル」という単語を耳にすることが最近増えてきたのではないかと思います。 しかし、その仕組みについて知りたいと感じても、「私には難しそう…」と敬遠してしまっている方も多いのではないでしょうか? 本記事ではAIの最新技術「Transformer」について、数式を用いず分かりやすく説明し、その応用についても紹介します! 本記事で概要を掴んでいただき、さらに詳しく知りたい方にはぜひ原論文をお読みいただければと思います！ Transformerとは Transformerとは、2017年に発表された”Attention Is All You Need”という自然言語処理に関する論文の中で初めて登場した深層学習モデルです。それまで主流だったCNN、RNNを用いたエンコーダ・デコーダモデルとは違い、エンコーダとデコーダをAttentionというモデルのみで結んだネットワーク
前回は、センター試験の英語読解問題に必要となる単語分散表現による単語理解について説明しました。紹介した単語分散表現獲得の例では、決まった範囲の周辺単語から単語分散表現を獲得していました。しかしながら、この方法では1単語で1つの意味しか表現することができず、多義語のように文脈で意味が変化する単語には対応できません。 例えば、「have」という単語は「I have a dog」だと「飼っている」という意味になり「I have breakfast」だと「食べる」という意味になります。多義語は意味ごとに周辺単語の種類も異なるため、それを1つの意味だけで捉えようとするのは困難です。 その解決方法の一つとして、文章に含まれる単語全体を使って単語分散表現を獲得する文脈理解を行います。文章全体を入力として単語分散表現を求めるので、文章ごとに異なる単語分散表現を獲得することができます。 次に紹介する「Tra
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第4回目は、Googleが開発した、昨今の生成AIの根幹をなすTransformerモデルの後継をうたう、マイクロソフトの技術など、5つの論文をまとめました。 生成AI論文ピックアップTransformer同等の性能でメモリ効率がよく高速なモデル「RetNet」 Microsoft含む研究者らが開発 Meta、商用利用可能な大規模言語モデル「Llama 2」発表 画像内の物体テレポーテーションAI「AnyDoor」 アリババ含む研究者らが開発 生成AIの処理が高速になる「FlashAttention-2」 米スタンフォード大の研究者が開発 脳活動から音楽を生成するAI
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
