![[DL輪読会] Using millions of emoji occurrences to learn any-domain representatio...](https://cdn.slidesharecdn.com/ss_thumbnails/dljpsoneoka171215-171214074013-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (15)
Similar to nlpaper.challenge2 nlp1 (17)
nlpaper.challenge2 nlp1
- 3. http://www.foundalis.com/res/bps/bpidx.htm BP#10. Designer: M. M. Bongard みんなで解こうボンガルド
- 6. 3.1．準備：記号の世界とベクトルの世界の橋渡し ■画像認識・音声認識と自然言語処理で利用する情報の違い 画像認識・音声認識 数値 連続値 自然言語処理 文字・単語・記号 離散値 ニューラルネットで「記号」を処理するためには 記号の世界から、「実数値連続領域の世界」に変換する必要がある ぼく、連続値しか利用できないよ
- 9. 3.1．準備：記号の世界とベクトルの世界の橋渡し 記号の世界 One-Hot ベクトル 連続値の世界 分散表現化 ソフトマックス関数 One-Hotベクトル列を実際を 入出力として利用する
- 12. 3.2. 言語モデル(Language model;LM) P(BOS今日は良い天気ですねEOS) P(BOS天気良い今日はにゅ。にゃにゃにゃEOS) このP(・)を正しく推定してくれるモデルを構築したい。 この言語モデルをどのようにして構築するか・・・？ ●Nグラム言語モデル ●ニューラル言語モデル（neural language model) 「天気良い今日はにゅ。に ゃにゃにゃ」 「今日は良い天気ですね」
- 14. 3.2. 言語モデル(Language model;LM) ■言語モデルは次の戦略を利用する 言語モデルは、直前に出現したいくつかの単語 を文脈*として次の単語の出現確率をモデル化す る。 *言語モデルにおいて、ある単語の出現確率を計 算するときに用いる周辺の単語を文脈(context) と呼ぶ 確率的言語モデルは以下の式で表される (3.5) (3.8)(t-a)単語だけ使うとこの式になる 今日 僕は 彼女と ご飯を 〇〇 このへんの 単語を利用して この単語の出現 確率をモデル化 する ■この言語モデルが、NNモデルの基本的の形になる
- 18. 3.2. 言語モデル(Language model;LM) 3.2.4.再帰ニューラル言語モデル（RNN言語モデル） 順伝播型ニューラルと異なり、文脈帳を固定することなく可変長入力に対応でき る。系列データのモデル化に適している。 ニューラル言語モデルのサブカテゴリとして再帰ニューラルネットワークを用い た言語モデルを再帰ニューラル言語モデル(RNN language model)よぶ。 (3.12)
- 21. 3.2. 言語モデル(Language model;LM) 3.2.6.言語モデルからの文生成 言語モデルは単語の生成確率をモデル化したもの →生成確率に基づいてサンプリングすると 「それっぽい」文が作れるのではないか？ (3.15) 文頭から順番に次の単語を予測する処理と解釈す ることもできる 何らかの分布を持 っている 言語モデル文頭から順番に単語 を入れていく 次の単語をサンプリ ングする 今日 僕は 彼女と ご飯を 〇〇 このへんの 単語を利用して この単語の出現 確率をモデル化 する この単語を予測 できないか？
- 23. 3.2. 言語モデル(Language model;LM) 3.2.7. 文字単位の言語モデル ■単語より短い文字単位の言語モデルを考えることができる →単語ベースだと訓練データに現れていない単語に対応することができない →単語境界を事前に特定の問題 ■課題もある →単語や句などの人間が認識している大きな単位（長い依存関係）の学習が難し い →Tが必然的に長くなるわけだから、計算量や領域コストが掛かってしまう。
- 24. 3.3. 分散表現 ■記号を計算機上で賢く扱うための方法論→１つの研究領域として考えられる 記号の世界 One-Hot ベクトル 連続値の世界 ソフトマックス関数 分散表現化
- 25. 3.3. 分散表現 離散 オブジェクト One-Hot ベクトル 連続値の世界 分散表現化 僕たちが話す 言葉は 離散オブジェクト
- 28. 3.3. 分散表現 3.3.3 分散表現の獲得方法 よい分散表現とはなにか？ 意味の似ている離散オブジェクトは近く、反対の意味の離散オブジェクトは遠く なれば、よい分散表現として考えることができる
- 31. 3.3. 分散表現 3.3.3 分散表現の獲得方法 （２）対数双線形モデルに基づく分散表現の獲得 周りの単語からある単語を予測するモデル １つの単語から周囲の単語を予測する CBoWモデル Skip-gramモデル
- 32. 3.3. 分散表現 3.3.3 分散表現の獲得方法 （２）対数双線形モデルに基づく分散表現の獲得 ＝■学習方法 訓練データをD ・・・ として 目的関数を符の対数尤度として取ると （３．２１） となり、実際の計算式である（３．１７） を代入すると となる ほら、２つの内積で構成されてい るからこんな簡単なニューラルネ ットになるんだよ
- 35. 3.3. 分散表現 ■よい分散表現は様々な自然言語処理の応用タスクで利用されている ■Word２Vecが今の所性能が良いとされているが、単語だけでなく、句・文・文 章を含んだ分散処理が期待されている
- 36. ご清聴ありがとうございました