[DL輪読会]Parallel Multiscale Autoregressive Density Estimation
0 likes•736 views
2017/10/2 Deep Learning JP: http://deeplearning.jp/seminar-2/
[DL輪読会]Parallel Multiscale Autoregressive Density Estimation
- 1. 論文紹介 Parallel Multiscale Autoregressive Density Estimation 東京大学大学院理学系研究科物理学専攻 藤堂研究室 中西 健
- 2. 論文名: Parallel Multiscale Autoregressive Density Estimation 著者: Scott Reed, et. al. (DeepMind) 公開日: 10 Mar 2017 ※スライド中の図表は特に記述のない限り上記の論文から引用 Paper information
- 4. 自自己己回回帰帰モモデデルル で いいくくつつかかののピピククセセルル間間にに条条件件付付きき 独独立立性性をを仮仮定定 することで、生成にかかる計算時間を OO((NN)) から OO((llooggNN)) にした (Nは画像のピクセル数) → 自己回帰モデルで大きな画像が作れるようになっ た 概要
- 5. 画像生成の方法は主に三種類 • 変分推論 (VAEなど) • 敵対的学習 (GAN) • 自己回帰モデル ← 今回はこれ 画像生成
- 6. • 自己回帰モデル とは • 分布p(x1:T)を のように書き下し、右辺の因子をNNなどでモデル化 自己回帰モデル
- 7. • 画像における自己回帰モデル とは (e.g. PixelCNN) • 画像の上から下に、行ごとに左から右に生成 • channel方向はRGBの順に生成 • 生成し終えたデータはすべて次の予測に使ってよい 画像における自己回帰モデル
- 8. • 画像における自己回帰モデルの良い点 • 画像の密度推定でSOTA • 学習が並列化できるので高速 • 画像における自己回帰モデルの悪い点 • 生成に非常に時間がかかる • (参考)リアルタイム生成動画 https://github.com/PrajitR/fast-pixel-cnn • 画像のピクセル数をNとして、生成にかかる時間はO(N) 本論文: 生成時間を O(logN) にした 画像における自己回帰モデル
- 10. (A) Simplest version (B) Sophisticated version 本論文の手法 spatial feature map
- 11. • クラス条件付き画像生成 • Imagenetを使用 • キャプションからの画像生成 (今回は省略) • CUB(鳥の画像データセット)を使用 • 他にもMPII, MS-COCOを用いて同様の実験をしてい る • アクション条件付き動画生成 (今回は省略) • Robot Pushingを使用 実験
- 12. dataset: ImageNet (1000クラス, 約100万枚) Sophisticated versionのモデルで画像拡大 • 12層のResNet • 4層のPixelCNN • 隠れ層のユニット数はすべて256 • 8x8の画像から128x128まで拡大していく クラス条件付き画像生成実験
- 13. 生成された画像 負の対数尤度 • 自己回帰モデルでないモデルには勝っている 結果 )← 生成にかかる時間 O(N) ← 生成にかかる時間 O(logN)
- 15. • PixelCNNの画像生成高速化方法を提案 • 生成速度がO(N)→O(logN)になった (N: ピクセル数) • 応用先 • テキストからの画像生成 • ビデオ生成 • 超解像 まとめと展望
- 16. 追加資料
- 17. • CUB • 200種の鳥の画像 • 11788枚 • 各画像に10個のキャプション • 各画像に15個のKeypoints キャプションからの画像生成実験
- 18. 結果