本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
Sequence-to-Sequence(Seq2Seq)学習は、任意長の入力列から任意長の出力列を出力するような学習のことで、Neural Networkの枠組みで扱う方法が提案されて、いい結果が報告されています。雑なメモ。 入力・出力列の例 (自然)言語処理系 機械翻訳(翻訳元->翻訳先) [1409.3215] Sequence to Sequence Learning with Neural Networks [1406.1078] Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation http://www.slideshare.net/yutakikuchi927/learning-phrase-representations-using-rnn-
はじめに 昨今，DNNs(Deep Neural Networks)の進歩が目覚ましくあらゆる分野で成功を収めています． 良く耳にするのは，画像分類や音声認識の分野ですが，対話システムも例外ではなくなりました． Pythonのライブラリ環境が充実しつつある今，DNNsを用いた対話システムの構築について簡単に紹介したいと思います． 対話システムのためのDNNsモデル 対話システムを構築するためのDNNsのモデルは大きく分けて2つあります． 大量の応答候補に対するランキング学習 -> 入力に対して応答候補文をそのまま選択 発話と応答のペアから，Encoder-Decoderモデルを学習．-> 入力に対して単語単位で応答発話生成 本記事では，後者のEncoder-Decoderモデルについて扱います． Chainerなどのライブラリが充実したおかげで，発話と応答のペアとなるデータさえあれば，誰で
前回の記事ではchainerのインストールからサンプルコードを使って画像識別問題を解くところまでやりました。 hi-king.hatenablog.com 今回の記事では回帰・分類問題用のシンプルなニューラルネットの作り方をやろうと思います。andとxorの論理式を学習させます。chainerでの実装の学習と、あとニューラルネットの教育目的に使いやすいなーと思ったので。2層のニューラルネットまで段階をふんで解説してるんですが、プログラム読むほうが得意、って方は一番最後のコードを先に読んだほうがわかりやすいかもしれません。 追記(7/13)型チェック chainer1.1.0から型チェックが入ったので(https://github.com/pfnet/chainer/pull/95)、識別にはfloat32を入力してint32を出力、回帰にはfloat32を入力してfloat32を出力、とい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
