20170419PFNオープンハウス R&D

20170419PFNオープンハウス R&D

• 1.
  PFNの研究開発 岡野原 ⼤大輔 Preferred  Networks [email protected] PFNオープンハウス2017春
• 2.
  PFNはテクノロジーカンパニーである l 圧倒的な技術⼒力力、実装⼒力力が差別化の根源 ̶— 優秀な⼈人材およびそれを活かす組織が会社の最⼤大の資産 l誰も取り組んでいない新しい重要な課題に挑戦する ̶— 既存の問題を解くのではなく、新しい重要な課題に挑戦する ̶— そのためには、各分野について深く理理解するのを厭わない l 最先端の研究成果をいち早く実⽤用化する ̶— 研究者、技術者、知財、ビジネス開発が有機的に⼀一体となり 新しい課題に新しいアイディアで挑戦し実現していく
• 3.
  PFNの研究開発 l 基礎研究 ̶— 深層学習、強化学習、分散学習、理理論論保障 ̶—⾔言語/協調の創発、半教師あり学習、マルチタスク学習 l 応⽤用研究 ̶— ロボティクス、⾃自動運転、ライフサイエンス、AR/VR ̶— Chainer,  ChainerMN,  ChainerRL ̶— 画像認識識,  映像解析コンンテンツ⽣生成 ̶— ⾃自然⾔言語処理理,  ⾳音声認識識 ̶— 異異常検知,  最適化 ̶— データ圧縮,  組み込み向け ̶— チップ開発 ⼤大⼩小様々なチームが異異なる研究テーマに 取り組んでいる
• 4.
  PFNが求める⼈人材像 l 研究⼒力力 – 問題解決能⼒力力：問題を理理解し、適切切な解決⽅方法を⾒見見つける能⼒力力 –サーベイ⼒力力：現在の状況を把握しと将来を予測する⼒力力 – 専⾨門知識識：特定の分野、問題についての深い理理解 – プレゼンテーション⼒力力：正しくわかりやすく伝える l 実現⼒力力 – アイディアを実現、実際の問題に適⽤用する能⼒力力 – アルゴリズム、データ構造、プログラミング⾔言語、ライブラリ、 ハードウェア、ネットワークについての深い理理解⼒力力 l チームワーク⼒力力 – ⼀一⼈人では実現できないことを周りと⼒力力をあわせて実現する能⼒力力 4
• 5.
  l どういう考えに基づいて研究開発を進めているのかにつ いて偉⼤大な先輩達の⾔言葉葉を借りて説明したい
• 6.
  Research that matters[丸⼭山] l 企業での研究は真理理を追求し、世の中の役に⽴立立つような インパクトを与えるものでなければならない 役に立ちたい知りたい 基礎 研究 応用 研究 ボーア （わかればよい） エジソン （動けば良い） 丸山 CSO パスツール （役に立ち、かつ 普遍的な知見となる） 図は”企業の研究者をめざす皆さんへ” (丸山著）より That matters Research
• 7.
  イノベーションは優れた理理論論を持っており、それを実現で きるグループの⼀一員である⼈人々によって作られる [W. Issacson] “TheInnovators”より l 優れた理理論論を考えられる⼈人と、それを実現し問題解決で きる⼈人たちがチームとなって取り組まなければならない l コンピュータを発明した⼈人はたくさんいたが、それを役 に⽴立立つように実現したのはENIACだけだった ̶— この過程でプログラム/プログラマという新しい概念念も登場した l 現在のAIも同じことが起きている ̶— 実現する過程で無数の問題が⽣生まれ、それを解決するための理理 論論、アイディアが登場している ̶— それを役に⽴立立つように実現することが重要
• 8.
  競争なんてくだらない。イノベーションこそ全て [L. Page] l 逐次的な改良良を繰り返しているだけでは必ず時代遅れに なる ̶—逐次的な改良良による先⾏行行は良良くて数年年 ̶— イノベーションのジレンマ：”⾃自動⾞車車が登場する前に、顧客に何 が欲しいかと聞いたら「速い⾺馬」と答えられる” l ライバルにわずかな差をつける努⼒力力をするより、画期的 なイノベーションに集中したほうが最後に勝つ
• 9.
  クレージーでないようなことをやっているの だったら間違っているのだ [L. Page] lもし、それが誰からみても順当だと思うようなことを やっているのであればそれは逐次的改善である l ⼈人は線形に変化することを予測するのは得意だが、加速 度度的に変化することを予測するのは苦⼿手である ̶— クレージーと思われるぐらいがちょうどいい
• 10.
  10年年以内にできそうなことは研究とは⾔言えない [久夛良良⽊木] l 数年年で成果が出せるようなものはあまりに短期的かつリ スクが低い（そしてリターンも⼩小さい）研究開発である l PSはその当時ワークステーションなどでしか実現でき ていなかったCGを⼀一般のゲームで実現させるというも のだった l10年年間の実⽤用化の努⼒力力により1994年年は発売された
• 11.
  10年年後を考えるにはクレージでなければならない [久夛良良⽊木] l 10年年後の世界を想像するには、その当時はクレージ−と 思われるぐらいでないといけない l 度度胸が必要 l妄想⼒力力が必要
• 12.
  ゼタフロップスまでは作れると楽観的に考えている [平⽊木] l 現在の最速のスーパーコンピュータは93Peta  Flops ̶—2020年年までに1Exa  Flopsに到達するのは確実視 ̶— 2034年年にZeta  Flopsに到達すると予想 ̶— ちなみに脳は1.075  Zeta  Flopsと予想されている* l データと計算は溢れるように使える時代が到来する ̶— 今のDCが⼀一つのチップに収まる時代がやってくる l データのコスト、計算のコストは今後も劇的に 下がり続ける ̶— これに応じて様々なルールが変わっていく ̶— 今は成り⽴立立たない新しいビジネスが登場してくる * http://timdettmers.com/2015/07/27/brain-vs-deep-learning-singularity/
• 13.
  もしそれがうまくいくと知っているなら試みではない [J. Bezos] l 失敗は発明とイノベーションの本質であり、うまくいく と知っているなら試みではない lたくさんの失敗をしても致命傷にならなければよい
• 14.
  成功の⽅方程式 [賀沢] l 成功回数=  試⾏行行回数 *  成功率率率 l 成功率率率はいろんな要因があるので努⼒力力で意識識的に増やす のは困難 l 試⾏行行回数を増やす =  試⾏行行時間を短縮 =  ⼀一⼈人で始められるよう⾃自分の腕を磨く =  ⼩小さい⽬目標を置く =  他⼈人のフィードバックを早めにもらう =  実験環境を整え、アイディアをすぐ試せるようにする l 私達は研究開発⽤用に1000GPU（10PFlops相当）からな るクラスタを2017前半までに⽤用意する ̶— 様々な研究開発、実験をできるように
• 15.
  3000のアイデア = 1つの商業的な成功*[Stevens] l 3000  のアイデア l 300  の⾏行行動がとられたアイデア l 125の⼩小さなプロジェクト l 9の重要な開発 l 4の主要な開発 l 1.7のローンチ l 1の成功 l 特許の場合も⼤大体同じ ̶— 3000のアイデア、112の特許、1つの価値ある特許 ̶— ブンブン、バットを回さなければならない * “From 3000 raw ideas = 1 commeercial success !” G. A. Stevens, et. al
• 16.
  未来を予測する最善の⽅方法は、それを発明することだ [A.  Key] l 「数年年先のことはわからない、これはきりの中でライト を向けている場合に相当する。ノイズは線形に⼤大きくな るが、ライトの強さは距離離の⼆二乗で⼩小さくなる」 [J. Hinton] l ⾃自分が先に進むしか未来は予測できない
• 17.
  最後に l 私達は世の中に”強烈烈”なインパクトを与えるような研究開 発を進めていく ̶— 真理理を解明し、世の中に役に⽴立立つものを創り出していく lコンピュータやインターネットの黎黎明期と同じ状況にある ̶— まだ、その全容も使い道も不不透明なAIという技術が存在している ̶— 世の中に様々な影響を与えていく l ⼀一緒に課題に取り組む仲間を募集しています！