Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 東ロボくんプロジェクト （AIで東大の入学試験に合格するプロジェクト ）[1]について、グーグルが最近公開した最新の言語処理モデルBERT [2]を引き合いに出して批判する動き[3]がある。以前にも新井先生を批判する動き[4]があったので、本当に大変だなと思う。しかし、彼女のやったこと、特に、AIは東大に合格できないと決めつけて東ロボを中止したことは、人工知能(AI)の研究の一端を担う私から見て、間違った判断だったと思う。東大に合格できないと言う結論が間違っていると言っているのではない。その点については私も現時点ではわからない。ただ、技
ことばを処理するAI（人工知能）技術の１つとしてBERTという技術が脚光を浴びています。NTTデータではBERTをビジネスで実用化するため、さまざまな業界の特有な単語や言い回しをとらえることのできるBERTの応用開発を行っています。これにより、個々のお客さまニーズに合わせた最適なAIモデルを構築することができます。本稿では、その一例である「金融版BERT」と「ドメイン特化BERTフレームワーク」について紹介します。 近年、深層学習をはじめとしたAI（人工知能）関連技術がめざましい進歩を遂げており、これまで実用足り得なかった分野に対して適用が進んでいます。画像処理では、犬と猫の区別も難しかった状態であったのに対し、深層学習を活用することで犬種の区別やピクセルレベルでの位置まで特定することができるようになりました。言語処理では、機械翻訳が10年前と比べて劇的に改善されています。個々のタスクでは
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
三井住友フィナンシャルグループ（FG）が最先端AI（人工知能）の活用にアクセルを踏む。 自然言語処理に特化したAIである「BERT」をベースにしたAIシステムをこのほど開発した。SMBC日興証券ら2社のコールセンターの照会応答支援業務を皮切りに、三井住友銀行（SMBC）をはじめとするSMBCグループ全体で活用する。同AIシステムの外販も視野に入れており、国内金融機関にBERTの導入が加速する可能性がある。 コロナ禍で重要性高まるコールセンター、総コスト2割削減へ 新たに開発したのはコールセンターの照会応答業務を支援するAIシステムだ。顧客からの電話やメールを受けたオペレーターが端末に検索用の文章を入力すると、対応する回答を掲載した社内FAQ（よくある質問と回答）のWebページやPDF文書を表示。オペレーターが顧客の問い合わせに素早く正確に答えられるようにする。 AI技術ベンチャーの米All
米オーバーン大学の研究者らは、言語理解能力を測定するテストで高得点の自然言語システムが、文中の単語の順序の入れ替えに気づかないことを発見した。こうしたシステムは、文中のいくつかのキーワードを拾い上げてテストの課題を処理しているだけであり、人間のように文の意味を理解しているわけではない。 by Will Douglas Heaven2021.01.22 46 58 21 25 言語を理解しているように見える人工知能（AI）の多くは、一般的な言語理解の課題において人間より高い得点を出している。ところが、文中の単語が並べ替えられても、そのことに気づくことができない。つまり、AIは実際にはまったく言語を理解していないのだ。問題の原因は、自然言語処理（NLP）システムが訓練される方法にある。この問題はまた、どのようにして自然言語処理システムを改善すればよいかを指し示している。 アラバマ州オーバーン大
この例に関する質問への回答を補足の項に記載しましたので、より良い理解のためにご参照ください。 1.3 モデル構造 トランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。 エンコーダ: 入力の文 $(x_1,\ldots,x_n)$ を $\boldsymbol{z}=(z_1,\ldots,z_n)$ へ変換 デコーダ: $\boldsymbol{z}$ から単語 $(y_1,\ldots,y_m)$ を出力。 ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。 Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。 つまり、以下の3つ(+2つ)のことが分かればモデル
この記事はエムスリーAdvent Calendar 2020 20日目の記事です。 エンジニアリンググループ AI・機械学習チームの李です。弊社では記事に対して疾患薬剤などのタグを付与するシステムGaussと、記事についたタグとユーザーのPV情報を利用してユーザーに興味のあるタグを紐づけるシステムMaxwellが存在します。Maxwellで使う特徴量を増やしたいというモチベーションがあるのですが、１つ考えられるのは記事についたタグに対して感情分析の結果を追加で利用することです。そこで、感情分析タスクをBERTで解く論文「Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence」 (Sun et al., 2019) を弊社のサービスで提供される医療記事に適用してみました。 各
Googleを解雇されたAI倫理研究者が指摘していた「大規模言語モデル」の危険性：Googleさん（1/2 ページ） 先週の金曜日、いつも巡回している米国のIT系メディアがいっせいに、GoogleのAI部門、Google AIのEthical Artificial Intelligence（倫理的AI）チーム共同リーダー、ティムニット・ゲブルさんがGoogleをクビになったと報じました。 ゲブルさんが2日の夜、自らのTwitterで、Googleがいきなり自分をクビにしたとツイートしたのです。 ゲブルさんは、AI研究分野では著名で尊敬されている研究者。黒人で女性。かつてMicrosoft Research在籍中、今の顔認識は学習データが白人男性の顔に偏っているので肌の色が白くないと認識率が下がるという有名な論文を共著で発表しました。著者名は覚えていなかったけれど、私もこの論文（の記事）は印
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
