Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
22 likes11,066 views
EMNLP2014読み会の資料です． おまけはNeural Machine Translationについて．
![RNN Encoder-DecoderのDecoder
隠れ層の活性化関数は
さっきのLSTM亜種
[点線部分]以外大体Encoderと一緒](https://image.slidesharecdn.com/emnlpyomi2014pfi-141122082206-conversion-gate02/85/Learning-Phrase-Representations-using-RNN-Encoder-Decoder-for-Statistical-Machine-Translation-21-320.jpg)
![phrase-base SMTにおけるデコーダとしての対数線形モデル
の素性関数fn(f,e)に追加する
RNN:
- 提案手法による入力文のフレーズ対の翻訳確率(フレーズ対の数分足す)
- フレーズ対の数 (フレーズ対の数だけ翻訳確率の総和が発生するため，これで公平さを取る狙い)
CSLM[Schwenk2007] (基本的には[Bengio2003]のFFNNLMのこと):
- 目的言語列の生成確率
Word Penalty
- 出てきたUnknown wordの数](https://image.slidesharecdn.com/emnlpyomi2014pfi-141122082206-conversion-gate02/85/Learning-Phrase-Representations-using-RNN-Encoder-Decoder-for-Statistical-Machine-Translation-27-320.jpg)
More Related Content
What's hot (20)
Similar to Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation (20)
![[DL輪読会]Unsupervised Neural Machine Translation](https://cdn.slidesharecdn.com/ss_thumbnails/dlyokota20180316-180316003237-thumbnail.jpg?width=560&fit=bounds)
![[EMNLP2016読み会] Memory-enhanced Decoder for Neural Machine Translation](https://cdn.slidesharecdn.com/ss_thumbnails/emnlp-170228052941-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GraphSeq2Seq: Graph-Sequence-to-Sequence for Neural Machine Translation](https://cdn.slidesharecdn.com/ss_thumbnails/20181117graphseq2seqkayama-181116022737-thumbnail.jpg?width=560&fit=bounds)
![Graph-to-Sequence Learning using Gated Graph Neural Networks. [ACL'18] 論文紹介](https://cdn.slidesharecdn.com/ss_thumbnails/graph2sequencelearningusinggatedgraphneuralnetworkacl18-190507010338-thumbnail.jpg?width=560&fit=bounds)
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
- 1. 2014/11/22 EMNLP2014読み会@PFI Learning Phrase Representations using RNN Encoder-‐‑‒Decoder for Statistical Machine Translation 菊池 悠太
- 2. はじめに Neural Network系技術を統計的機械翻訳(SMT)に 活かす研究は流行っている，ACL2014も多かった （best paperもそうだった） 多くはphrase-based SMTの枠組みのどこかに活かす形 今回は 翻訳の枠組みがNeural Networkだけで完結する Neural Machine Translation ....の(Bengio先生達にとっての)序章的論文 ! 本稿ではまだphrase-based SMTの素性として使った時の報告 時間があれば触れる用におまけを用意したが絶対時間足りない
- 3. Agenda - はじめに - RNN Encoder-Decoder ! ! 出てくる技術 - RNN - LSTM（のシンプル版） - Maxout ! - 実験・結果 ! 出てくる技術 - phrase-based SMT - Feed Forward Neural Network Language Model (FFNNLM) - おまけたち (Neural Machine Translation系の話題)
- 4. Agenda - はじめに - RNN Encoder-Decoder ! ! 出てくる技術 - RNN - LSTM（のシンプル版） - Maxout ! - 実験・結果 ! 出てくる技術 - phrase-based SMT - Feed Forward Neural Network Language Model (FFNNLM) - おまけたち (Neural Machine Translation系の話題)
- 6. RNN Encoder-Decoder 1. Encoder 現言語列の単語をひと つずつ受け取り，隠れ 状態ベクトルcを作る RNN
- 7. RNN Encoder-Decoder 2. Decoder cから目的言語列を生 成するRNN
- 8. よく見るシンプルな RNNの図 今回の図 ちなみに
- 9. よく見るシンプルな RNNの図 つまり - ◯は連続値ベクトル - xはone-hotベクトル 今回の図 ちなみに
- 13. X1 X2 target!!
- 14. 実際は… X1 X2 reset gate: どのくらい前回の 隠れ層が影響する か r
- 15. X1 X2 resetを考慮した 仮のhidden unit r
- 16. z X1 X2 update gate r
- 17. z X1 X2 今回の入力単語を どのくらい使うか? をupdate gate が決定 r
- 18. z r X1 X2 実際には隠れ層(10０0次元)の各ユニットが独立した↑になってる - reset gateが1になりやすいユニットは短い時間依存を担当 - update gateが1になりやすいユニットは長い時間依存を担当
- 21. RNN Encoder-DecoderのDecoder 隠れ層の活性化関数は さっきのLSTM亜種 [点線部分]以外大体Encoderと一緒
- 22. RNN Encoder-DecoderのDecoder 出力層の活性化 関数はMaxout
- 24. Training 訓練後は 1. 目的言語列の生成 2. (原言語列-目的言語列)対 の翻訳確率 に使える
- 25. Training 訓練後は 1. 目的言語列の生成 2. (原言語列-目的言語列)対 の翻訳確率 に使える 今回は1.は定性評価のみ
- 26. 実験 提案手法をphrased-base SMTの素性として使う (Moses with default settings)
- 27. phrase-base SMTにおけるデコーダとしての対数線形モデル の素性関数fn(f,e)に追加する RNN: - 提案手法による入力文のフレーズ対の翻訳確率(フレーズ対の数分足す) - フレーズ対の数 (フレーズ対の数だけ翻訳確率の総和が発生するため，これで公平さを取る狙い) CSLM[Schwenk2007] (基本的には[Bengio2003]のFFNNLMのこと): - 目的言語列の生成確率 Word Penalty - 出てきたUnknown wordの数
- 29. Table 2 現言語phraseに対するtop-scoredな目的言語 phraseの実例(baselineと比較) 割愛 まぁ良い感じ 提案手法はphrase table上の出現頻度に寄らないとか RNNencoderは短めのphraseを好むとか
- 32. Table 3: 提案手法が生成したphraseたち phrase tableにないものも生成できている →将来的に従来のphrase tableの代替に？
- 33. Figure 4: お約束，単語ベクトルの次元削減による可視化 青い部分を拡大 もっと大きな図は付録として最後についてます
- 34. Figure 5: cの次元圧縮による可視化 良い感じにphrase空間ができてる(論文をご参照下さい…)
- 35. Figure 5: cの次元圧縮による可視化 さすがにいっこ拡大してみる
- 36. Conclusion RNN Encoder-Decoderというものを提案 encoder: 任意長の原言語列 → 中間表現 decoder: 中間表現 → 任意長の目的言語列 Large Potential phrase tableの一部ないし全部を置き換える RNNベースだしSpeech recognitionにも使えそう
- 37. おまけ Neural Machine Translation
- 39. 純粋にNNだけで翻訳生成（デコード時に幅10でビームサーチ） この論文の提案手法(grConv) 今日のやつ(RNNenc) 次のおまけ のやつ 文長・未知語数別のBLUEスコア
- 40. 次のおまけ のやつ 文の長さ，未知語の数で かなり変わる っていう論文がすでにarXivに….
- 42. このへんを
- 43. こう！
- 44. わりと似てる！
- 47. NMT的に生成したもののBLUEスコア “おまけ1”で出てきた結果の表 ハイパーパラメータが違ったり この数値だけだと優劣分からない モデルも一緒ではないので
- 48. おまけ３
- 49. 単語の分散表現の学習について 有名なの今日の バイリンガルで学習するとモノリンガルな 単語類似度評価セットも向上 ! “bilingual word embeddings”は以前からあったが 実際に有名な評価セットで優位性を報告したのは初？
- 50. 単語の分散表現の学習について 有名なの今日の 新しい単語類似度 評価セット バイリンガルで学習するとモノリンガルな 単語類似度評価セットも向上 ! “bilingual word embeddings”は以前からあったが 実際に有名な評価セットで優位性を報告したのは初？
- 51. 単語の分散表現の学習について 有名なの今日の これもNMT しかもBLUEはRNNencより良いっぽい バイリンガルで学習するとモノリンガルな ! ! ! 単語類似度評価セットも向上 ! “bilingual word embeddings”は以前からあったが ! 実際に有名な評価セットで優位性を報告したのは初？
- 52. 全体まとめ Neural Machine Translationやばそう ! 純粋にNNだけでちゃんと生成ができそうな報 告が溜まってきた？ ! 先行者はBengio先生組やGoogle組