NIPS 2016 Overview and Deep Learning Topics

Copyright (C) 2016 DeNA Co.,Ltd. All Rights Reserved.
NIPS 2016 読み会
@Preferred Networks
2017/1/19
NIPS 2016
Overview and Deep Learning Topics
@hamadakoichi
濱田晃一

2
AGENDA
◆Deep Learning Topics
◆NIPS 2016 Overview
◆Generative Adversarial Networks(GANs)
◆Recurrent Neural Networks(RNNs)
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

3
講師
・TokyoWebmining 主催者
　- 機械学習の実活用コミュニティ。登録人数 1500人超。
　- 7年継続、累積59回開催
濱田晃一 (@hamadakoichi)
・執筆：Mobageを支える技術
Analytics Architect
・博士 : 量子統計場の理論 (理論物理)
・DeNA全サービスを対象とし、大規模機械学習活用したサービス開発
　- 数千万ユーザー、50億アクション/日、テキスト、画像、ソーシャルグラフ
　- 体験設計から、分散学習アルゴリズムの設計・実装まで
・Deep Learning
　- 画像表現学習・画像生成
　　対話・キャラクター表現学習、等

4
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

5
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

6
NIPS 2016
・第30回の開催
・期間： 2016年12月5-10日
・ICML 33回に続き長い伝統
・チュートリアル: 5(1日)
・本会議: 5-8(4日)
・ワークショップ: 9-10(2日)
・開催地：バルセロナ(スペイン)
貼る：会場雰囲気

7
NIPS 2016
参加者が 6000人に増加 (2015年の1.5倍)
※Terrence Sejnowskiは NIPS foundationの President

8
NIPS Features
・採択の92%はポスター
・採択率: 23%
・投稿数: 2500+、採択数： 568
・Oral(45) : 20分の口頭発表 + ポスター
・Poster(523) ：ポスターのみ
・少数トラックでの進行(最大3)
（昨年までシングルトラックだったがパラレルに）

9
NIPS Features
・ポスター発表による活発な議論
(昨年までの19-24時の5時間ポスターからは時間縮小したが、最後まで活発な議論）
・210 min(3.5 hour)/ day
・130 Poster x 4 days

10
NIPS2016 Hot Topics
引用元：
The review process for NIPS 2016
http://www.tml.cs.uni-tuebingen.de/team/
luxburg/misc/nips2016/index.php
Deep Learning Computer Vision Large Scale Learning Learning Theory Optimization Sparsity

11
NIPS2016 Hot Topics
Tutorial 3/9、Symposium 2/3 が Deep Learning
Reinforcement Learning, Generative Adversarial Net, Recurrent Net
Tutorial Symposium

12
NIPS2016 Hot Topics
Tutorial Symposium
Tutorial 3/9、Symposium 2/3 が Deep Learning
Reinforcement Learning, Generative Adversarial Net, Recurrent Net
上記2トピックに関し、本会議論文をピックアップし概要紹介します
(Reinforcement Learningは、このNIPS読み会での個別論文の発表も多いため)

13
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

14
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

15
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

16
Generative Adversarial Network (GAN)
Generative Adversarial Nets(GAN)
Goodfellow+, NIPS2014

17
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる
識別器: “本物画像”と “生成器が作った偽画像”を識別する
生成器: 生成画像を識別器に“本物画像”と誤識別させようとする
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)

18
Minimax Objective function
Discriminator が
「本物画像」を「本物」と識別
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
Discriminator が
「生成画像」を「偽物」と識別する
Discriminatorは
正しく識別しようとする
（最大化）
Generatorは Discriminator に誤識別させようとする（最小化）
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる

19
自然画像の表現ベクトル空間学習・演算・画像生成
ICLR16: Deep Convolutional GAN : DCGAN (Radford+)
自然画像のクリアな画像生成画像演算
Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks.
Alec Radford, Luke Metz, Soumith Chintala.
arXiv:1511.06434. In ICLR 2016.

20
ICML16: Autoencoding beyond pixels (Larsen+)
Autoencoding beyond pixels using a learned similarity metric.
Anders Boesen Lindbo Larsen, Søren Kaae Sønderby, Hugo Larochelle,
Ole Winther.
arXiv:1512.09300. In ICML 2016.
自然画像の表現ベクトル空間学習・演算・画像生成

21
ICML16: Generative Adversarial Text to Image Synthesis(Reed+)
Generative Adversarial Text to Image Synthesis.
Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen
Logeswaran, Bernt Schiele, Honglak Lee.
arXiv:1605.05396. In ICML 2016.
文章からの画像生成
文章で条件付したGAN

22
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

23
Generative Adversarial Text to Image Synthesis(Reed+)
Learning What and Where to Draw.
Scott Reed, Zeynep Akata, Santosh Mohan, Samuel Tenka, Bernt Schiele, Honglak Lee.
arXiv:1610.02454. In NIPS 2016.
文章からの画像生成
表示位置情報も条件付したGAN

24
InfoGAN (Chen+)
InfoGAN: Interpretable Representation
Learning by Information Maximizing
Generative Adversarial Nets.
Xi Chen, Yan Duan, Rein Houthooft, John
Schulman, Ilya Sutskever, Pieter Abbeel.
arXiv:1606.03657. In NIPS 2016
Latent code c、Generator 出力との Mutual Information を加え
GANで狙って表現ベクトル空間を学習

25
3Dモデルの表現ベクトル空間学習・演算・生成
3D GAN (Wu+)
3Dモデルの生成 3Dモデル演算
写真からの3Dモデル生成
3D VAE-GAN
3D GAN
Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling.
Jiajun Wu, Chengkai Zhang, Tianfan Xue, William T. Freeman, Joshua B. Tenenbaum.
arXiv:1610.07584. In NIPS 2016.

26
Generating Videos with Scene Dynamics(Vondrick+)
動画の表現ベクトル空間学習・動画生成
Generating Videos with Scene Dynamics.
Carl Vondrick, Hamed Pirsiavash, Antonio Torralba. In NIPS 2016.
http://web.mit.edu/vondrick/tinyvideo/
動画生成 1画像からその後の動画生成

27
f-GAN (Nowozin+)
GAN目的関数を Symmetric JS-divergence から
f-divergence に一般化。各Divergence を用い学習・評価
f-GAN: Training Generative
Neural samplers using
variational Divergence
Minimization.
Sebastian Nowozin, Botond
Cseke, Ryota Tomioka.
arXiv:1606.00709.
In NIPS 2016.
Kernel Density Estimation on the MNIST
f-divergence
LSUN

28
Improved Techniques for Training GANs (Salimans+)
Improved Techniques for Training GANs.
Tim Salimans, Ian Goodfellow, Wojciech
Zaremba, Vicki Cheung, Alec Radford, Xi Chen.
arXiv:1606.03498. In NIPS 2016.
収束が難しいGANの学習方法論
GAN半教師あり学習
1. Feature Matching
2. Minibatch discrimination
3. Historical averaging
4. One-sided label smoothing
5. Virtual batch normalization
Techniques Semi-supervised learning
MNIST
Semi-supervised training
with feature matching
Semi-supervised training
with feature matching and
minibatch discrimination
CIFAR-10
Generated samples

29
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

30
Extended Architectures for Generative Adversarial Nets 2016
Extended Architectures for GANs
Figure by Chris Olah (2016) : https://twitter.com/ch402/status/793535193835417601
Ex)
Conditional Image Synthesis With
Auxiliary Classifier GANs.
Augustus Odena, Christopher Olah,
Jonathon Shlens.
arXiv:1610.09585.
Generative Adversarial Net の各種拡張

31
Stack GAN: Text to PhotoRealistic Image Synthesis(Zhang+2016)
1段目で文章から低解像度画像を生成
2段目で低解像度画像から高解像度画像を生成
StackGAN: Text to Photo-realistic Image
Synthesis with Stacked Generative Adversarial
Networks.
Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang,
Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas.
arXiv:1612.03242.

32
Plug & Play Generative Networks (Nguyen+2016)
高解像度な画像生成
227 x 227 ImageNet
Plug & Play Generative Networks: Conditional
Iterative Generation of Images in Latent Space.
Anh Nguyen, Jason Yosinski, Yoshua Bengio,
Alexey Dosovitskiy, Jeff Clune.
arXiv:1612.00005.

33
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

34
Phased LSTM (Neil+)
時間で開閉するGateを導入した LSTM
Sensor Data 等、Event 駆動の長期系列特徴を学習
Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences.
Daniel Neil, Michael Pfeiffer, Shih-Chii Liu.
arXiv:1610.09513. In NIPS 2016.
LSTM Phased LSTM
Phased LSTM Behavior
Frequency Discrimination Task

35
Using Fast Weights to Attend to the Recent Past (Ba+)
早く学習・減衰する Fast Weight 追加で、系列固有の情報を扱う
Slow Weight での長期特徴とあわせ、双方の系列特徴を学習
Using Fast Weights to Attend to the Recent Past.
Jimmy Ba, Geoffrey Hinton, Volodymyr Mnih, Joel Z. Leibo, Catalin Ionescu.
arXiv:1610.06258. In NIPS 2016.
Associative Retrieval Task
Classification Error Test Log Likelihood

36
Learning to learn by GD by GD (Andrychowicz+)
LSTMを用いたOptimizer
Parameterごとに勾配系列から適切な次の更新量を算出
Learning to learn by gradient descent by gradient descent.
Marcin Andrychowicz, Misha Denil, Sergio Gomez, Matthew W. Hoffman, David Pfau, Tom Schaul, Brendan Shillingford,
Nando de Freitas.
arXiv:1606.04474. In NIPS 2016.

37
Matching Network for One Shot Learning (Vinyals+)
Attention Mechanism を用いた One Shot Learning
参照構造を学習しておき、新規小規模データセットでも高精度で動作
Matching Networks for One Shot Learning.
Oriol Vinyals, Charles Blundell, Timothy Lillicrap,
Koray Kavukcuoglu, Daan Wierstra.
arXiv:1606.04080. In NIPS 2016.
Omniglot
miniImageNet

38
AGENDA
◆GANs
◆GANs in NIPS2016
◆Recent GANs
◆RNNs in NIPS2016

NIPS 2016 Overview and Deep Learning Topics

Recommended

More Related Content

Viewers also liked (19)

Similar to NIPS 2016 Overview and Deep Learning Topics (20)

More from Koichi Hamada (20)

Recently uploaded (20)

NIPS 2016 Overview and Deep Learning Topics