Facebookの人工知能アルゴリズム「memory networks」について調べてみた

© 2015 Metaps Inc. All Rights Reserved.
Facebookの人工知能アルゴリズム
「Memory Networks」について
調べてみた
株式会社メタップス
研究推進担当　
礼王懐成

調査・資料作成
礼王懐成
Keo Darawong
•  株式会社メタップス（研究開発部門）所属
•  東京大学大学院工学系研究科卒業
•  人工生命研究所(役員)、東京大学先端科学技術研究セ
ンター特任助手、独立やベンチャーを経てメタップスへ
•  大学院学生時代は大脳基底核と前頭葉ループにおける運動系列強化学習を研究。　
問題解決法に興味を持ち人工知能の研究開発を行なっているベンチャー会社へ。　　
機械学習を用いた自然言語解析や画像認識や知識推論の研究開発（接地問題に
挑戦）。　金融工学や検索エンジン（マップ検索も含む）も経験。　画像認識機能を持つ
自然言語対話システムのための要素技術の研究開発。　トピックモデルなど自然言語
解析を用いたマーケティングの研究開発。

© 2015 Metaps Inc. All Rights Reserved.3
出典：http://qz.com/370089/everything-facebook-announced-today-at-f8/

•  FaceBook AI リサーチが開発した文章理解
を行う人工知能アルゴリズムである。
•  Memory Networksは文章を読み込み、誰
が何を持っているか、あるいはどこに物が
置いてあるかなどを回答する。
Memory Networks とは？

•  例えば、指輪物語の内容を数行にまとめたコンテ
ンツをAIが理解している様子が見て取れる。
•  AIはこのファンタジー小説の予備知識やキャラ
クターについては知らない。
•  AIはFacebookのこの機能のおかげで、ストーリ
ーの内容についての質問に答えることができる。
Memory Networks とは？

•  長期メモリを活用して、論理的な推論を
必要とする質問に対しても回答ができる。
•  テキストを明示的に論理式に変換するこ
となく、embedding model をいくつか組
み合わせたネットワークを用いて論理推
論の機能を持つ質問応答を行う。
Memory Networksの特徴

以下の２点のように従来の知識ベースア
プローチが作業を行わない。

1)  知識データベースの構築のための情報
抽出の原理を作る。
2)  構築されたデータベースを用いて推論を
行う。
つまり？

従来の論理推論（日本語）
形態素解析
係受け解析
項構造解析 or 意味役割解析
一階述語論理に変換
論理推論

形態素解析をしたものをembeddingしてメモリに保存して推
論をするため、大規模な長期記憶も理論的には推論できる。
Memory networksの場合
形態素解析
メモリに保存
推論

メリットと課題
l 従来の方法だと論理知識が増えるとメンテ
ナンスと推論が大変だったが、この方法は
拡張性と効率性に優れている。

l 汎用性に関しては疑問視されている。複雑
な構文には対処できず、簡単な文章しか解
析できないのが課題。

I: ( input feature map )　- 入力データを内部素性表現に変換する。

G: ( generalization ) - 新たな入力をもとに古いメモリを更新する。

O:( output feature map ) - 素性表現空間に新しい出力の生成。

R( response ) - 出力を求められた形式に出力をする。
処理の概要

１、xを内部素性に変化する。

２、新しい入力xに対して、メモリm_i をアップデートする。

３、出力feature oを与えられたメモリ　　

４、最終的なfeature o最終的な応答とする。　
Memory Networks の構成
[Weston, J., 2015a]

(1) 式のH(x) xに対してスロットを選択する関数である。
入力xに対して,N個のメモリmiから関数を最大なものを選択する。
一回目の得られた最適なメモリと入力と残りのメモリ選択する。
一回目の得られた最適なメモリと入力と残りのメモリ選択する。Wは辞書
詳細な処理ステップ

行列Uは,n×Dの行列Φx, ΦyはテキストデータをD次元にマップする。
もっとも簡単な実装法はBOWである。
単語の辞書をWとした時に、D =3|W|とする。Wにあるすべての単語は３
つの異なる表現をする。
Φyが１つ、Φxが２つで入力なのかメモリからなのかで分類される。

コア関数の詳細

k=2に対して SoやSrの重みであるUoやUrを確率的勾配降下法(SGD)を用いて最適化
する。
教師データとしては、質問x、最終回答であるr、回答を得るために参照する事項
（supporting facts）f1,f2を用いる。
マージンをγ= 0.01~0.1
学習関数

文章の切れ目が確認できない入力に対して、(9)の式で切り分ける。
時間順序を関数に導入する。
未知の単語に対して、周辺情報の単語を参考に計算を行う。
その他拡張の機能関数

メモリに記入した時間順序を考慮した学習関数で、これを最適するように重みUo
を計算する。
時間順序を考慮した学習関数

もっとも簡単なタスクで、回答が含まれる文が一つの場合の質問タスク。

例えば、以下のように人物がどこにいるかを質問する場合。
John is in the playground. Bob is in the office.
Where is John? A: playground
アンダーラインは、回答を得る過程で参照される事項（supporting facts
）で、教師データとして使用される。
タスク(1) Factoid QA : シングル Supporting Fact
("Where is actor")

少し複雑な問題で、回答が二つの文に含まれる場合の質問タスク。
John is in the playground.
Bob is in the office.
John picked up the football.
Bob went to the kitchen.
Where is the football? 　A:　playground
アンダーラインは、回答を得る過程で参照される事項（supporting facts
）で、教師データとして使用される。
タスク(2) Factoid QA: Two Supporting Fact
("Where is actor + object")

John is in the playground.
Bob is in the office.
John picked up the football.
Bob went to the kitchen.
Where was Bob before the kitchen?　 A:　office
アンダーラインは、回答を得る過程で参照される事項（supporting facts）で、教
師データとして使用される。

タスク(2) Factoid QA: Two Supporting Fact
("Where is actor + object")

q: 質問、t：回答を教師データとして学習を行う。
つまり、回答を得る過程で参照される事項（supporting facts）の数kが1つ（t：
回答のみ）である。
実験1　LARGE-SCALE QA

実験1　LARGE-SCALE QAの結果

文章だけ記述される仮想世界でのシミュレーションに対して質問を行って、答
えを得る。
今回のタスクでは、人物と物のロケーションに対してだけ質問を限定している。
また、手動で行動の制約条件のルールを記述している。
例えば、持っていない物を置くことができないなど。

実験2 SIMULATED WORLD QA

Test accuracy on the simulation QA task
実験2 SIMULATED WORLD QAの結果

•  bag of wordsでは、主語と目的語の２項関係や３項関
係を扱うことができない。

•  回答を得る過程で参照される事項（supporting facts）の
数kが2つまでしかなく、それ以上を必要とする質問には対
応できない。
•  応答部がRNN(Recurrent Neural Networks)ではな
いと、リスト挙げなど複数回答を必要とする質問に対応で
きない。
初代Memory Networksの問題点

•  初代Memory Networksの制約をなくすために以下の機
能を追加して拡張を行った。
–  Adaptive Memoriesの導入：これを用いることで、回答を得る
過程で参照される事項（supporting facts）数を２の制約から無限
とした。
–  応答部にRNNやLSTMの導入：これを用いることで複数の回答を
行うが可能となる。
–  非線形関数の導入：bag-‐‑‒of-‐‑‒N-‐‑‒grams, Multilinear Map,
Nonlinear Mapを導入することで、より複雑な論理推論が可能に
なる。
[Weston, J., 2015b]
Towards AI-Complete Question Answering: 
Memory Networksの拡張

Towards AI-Complete Question Answering: 
•  Adaptive Memories(and Responses)

オリジナルのMemory Networksでは、回答を得る過程
で参照される事項（supporting facts）の数kが2つまでだ
ったが、拡張モデルでは、これを無限とした。

Towards AI-Complete Question Answering:
•  Nonlinear Sentence Modeling

1)、N-gramsの導入
bag-of-wordsの代わりにbag-of-N-gramsを用いる。N=1~3
2)、Multilinear Map
3)、Nonlinear Map
lは文長、iは文の中の位置

Toy Tasksの例（演繹推論）
<入力文> 　→
Sheep are afraid of wolves. Cats are afraid of dogs.
Mice are afraid of cats. Gertrude is a sheep.
<一階述語論理表現>　→
be_̲afraid_̲of(sheep, wolves) ^ be_̲afraid_̲of(cats,
dogs)^be_̲afraid_̲of(mice, cats)^
be_̲afraid_̲of(Gertrude, sheep)
<質問と回答>
What is Gertrude afraid of? A:wolves

Toy Tasksの例（帰納推論）
<入力文> 　→
Lily is a swan.　　Lily is white.　Greg is a swan.
be ( Lily, swan) ^ color (Lily, white) ^ be(Greg,
swan)
<質問と回答>
What color is Greg? A:white

Toy Tasksの例（Agent’s Motivationsの推論）
<入力文> 　→
John goes to the kitchen.　John eats the apple.
Daniel is hungry.
be(John, hungry)(t1) ^ go(John, kitchen)(t2) ^ eat
(John, apple) (t3)^(t1<t2<t3)
* t1,t2,t3は時間順序
<質問と回答>
Where does Daniel go? A:kitchen
Why did John go to the kitchen? A:hungry

Results

•  長いテキスト文をembeddingしてメモリに長期保
存し、コンテキスト依存的な質問にも回答するよう
な仕組み。
•  テキストをデータベースの構築や明示的に述語
論理に変換することなく論理的な推論をすること
ができる点で新しい。　
•  体系的な知識を扱う汎用的な推論や複雑な構文
には対処できないのが課題or未知数である。
Memory Networks まとめ

参考論文
•  Weston, J., Chopra, S., and Bordes, A. Memory
networks. In International Conference on Learning
Representations (ICLR), 2015a.
•  Weston, J., Bordes, A., Chopra, S., and Mikolov, T.
Towards AI-‐‑‒complete question answering: A
set of prerequisite toy tasks. arXiv preprint:
1502.05698, 2015b.

Facebookの人工知能アルゴリズム「memory networks」について調べてみた

More Related Content

What's hot (20)

Viewers also liked (15)

Similar to Facebookの人工知能アルゴリズム「memory networks」について調べてみた (20)

More from 株式会社メタップスホールディングス (18)

Facebookの人工知能アルゴリズム「memory networks」について調べてみた