Uploaded bySojitz Tech-Innovation USA
【日商USA】webinar 2023.10.6 クラウドだけじゃない！Edge AIの進化とは？
米国時間 9月12日から14日にかけて「AI Hardware and Ege AI Summit 2023」というイベントが、サンタクララにて開催されました。 AIの利活用がさまざまな業種において言及されていますが、パフォーマンスの面でエッジにおけるAIの実装が重要であると言われています。最新の状況では、チップの進化もあいまって加速度的に技術が進化しています。 今回は現地の模様や発表されたトレンドについて、皆様に共有いたします。
![[基調講演] DLL_RealtimeAI](https://cdn.slidesharecdn.com/ss_thumbnails/dllabdaykeynotesakakibara-180710072423-thumbnail.jpg?width=640&height=640&fit=bounds)
【日商USA】webinar 2023.10.6 クラウドだけじゃない！Edge AIの進化とは？
- 1. 本日のアジェンダ 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 1 01 イベント概要 02 Key Findings 03 注目セッション 04 展示会場の様子 05 注目スタートアップ
- 2. • 期間 2023年9月12日～9月14日 • 会場 SantaClara Marriott, CA • 参加者 1,000名 AI Hardware & Edge AI Summit 2023 概要 10/13/2023 All Copyrights reserved by Nissho Electronics USA Corp 2
- 3. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 3 Key Findings
- 4. Key Findings • AIシステムにはクラウドとエッジのハイブリッドが必須 •エッジにAI機能は、遅延の解消やクラウドへの通信量の削減につながる • プライバシー保護が非常に大きなメリット • クラウド事業者は積極的な設備投資、エッジも技術革新が進む • TPUの進化、有望なスタートアップの登場 • チップの進化。IPビジネスや性能を最大限に高める製品が開発 • たくさんのAIのユースケース • コールセンタースタッフ、開発者、クリエーターの生産性向上 • リアルタイムデータの取り扱いには、モデルの微調整が鍵 10/13/2023 All Copyrights reserved by Nissho Electronics USA Corp 4
- 5. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 5 注目セッション
- 6. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 6 AIの今後の展望 AIの特性を理解した使い分け • 注目の生成AI実装には期間と、コストがかかる 実装には7カ月以上かかる。機械学習は、小規模。 その代わり実装は早く、コストも一定レベル以上 上がらない • 機械学習は、ユースケースがまだまだある 広告や検索には大規模なAIが必要。一方、産業利用では、 用途にもよるが小規模な機械学習で十分 • 産業ごとのカスタマイズが必要 その反面AI技術視点では、汎用的な部分もある。アプリ開発に 大きなチャンスがある。ノーコード･ローコードの活用が有効 Andrew Ng Founder & CEO
- 7. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 7 第3世代AIがアプリとハードウェアに 与える変革のインパクト • 半導体の市場は、現在の$511B市場から2029年には $1T市場に成長 5G、Googleなどの事業者の増設、AI、自動運転、IIoTなど が成長を押し上げ • 85％は非構造化データ。その2％しか使われていない リアルタイムデータの活用が課題。現在のCPUベースでの 設備では大量のデータを扱うのが困難 • Purpose-Buildが主流に 従来では、チップが汎用的な目的で使用されている 今後は、特定の目的を持ったチップの需要が高まる Lip-Bu Tan Chairman
- 8. Vertically Full stackIntegrated Secure Gen AI Platform 10/13/2023 8 インフラレイヤー データレイヤー 生成AIモデルレイヤー シリコンフォトニクス 量子コンピューティング AI/ニューラルコンピューティング Software-Defined Kubernetes Storage IIoT スイッチ Robotic / Drone XPU SerDes/コネクティビティ Security 統合データ 基盤 MLIR データ実装 CI/CD 統合基盤 Process Mining/BI その他 Building AGI クラウド 自動化 データラベリング・分析 生成AIプラットフォーム All Copyrights reserved by Nissho Electronics USA Corp
- 9. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 9 AI時代の社会基盤構築 • 過去20年、ハードウェアの性能は、2,３年ごとに 2倍になっている CPUの性能は2、3年ごとの倍増ではなく、毎年34％ずつ向上 • サービスにおける需要の増加 より多くの計算能力を得られる一方で、需要の増加からより多 くの費用がかかっている。モデルごとのパラメータの数は 毎年約1000倍に増加 • すべてをターンキーにすることが目標 多くの顧客は、モデルの開発に関して専門知識や時間、費用が かかりすぎるため、自社での開発を望んでいない
- 10. クラウドTPUによるAIスパーコンピューターの急速な進化 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 10
- 11. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 11 生成AI技術を駆使したアニメーション、 アート、アバターの制作 • ゲーム開発とデジタルコンテンツの配信 PC、VR、スマホなどあらゆるプラットフォームを サポートしている • クラウドとPCのハイブリッド 制作は基本的にPCで行い、推論エンジンをクラウドで動作 させる。省エネルギー、低コスト、高パフォーマンスを実現 • 3Dリアルタイムトラフィックは現在は5％程度 10年後には、50％を占めている 製造業におけるデジタルツインの実装などさまざまな ユースケースが想定される Luc Barthelet CTO
- 12. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 12 Airbnbは、見えない負担を AIを用いて徹底的に効率化している • 顧客担当サービスの生産性向上 苦情を分析し、100ページにもおよぶ顧客サービスポリシー から、関連部分を抽出。将来的には、コンシェルジュサービス なども提供 • 開発エンジニアの工数削減 日常業務の30％をChatGPTのようなツールで処理できる ようにすることが目標。OpenAIとの連携も視野 • 価値提案を行う企業、データを持っている企業 AIを用いることで自社のドメインともいえる事業の 大幅な生産性向上が期待できる Suqiang Song Engineering Director, Data Platform & ML Infra
- 13. Airbnbの構築しているシステム概要 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 13
- 14. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 14 デジタルツインが安全な運転を サポート • 2025年には1億台の自動車が存在 高度なセンサーが搭載され、1カ月あたり1～10エクサバイト という膨大なデータがクラウドに送信される見通し • パーソナライゼーションと予知保全が 重要なトレンド 車のUI/UXを自由にカスタマイズ、故障に関する通知や リモートメンテナンス • クラウドとエッジの両面からのアプローチ 高度で遅延のないサービスの提供には、組合せが必須 一方、サービス品質の観点から慎重なテストを重ねている Prashant Tiwari Technology Executive
- 15. デジタルツインを活用したパーソナライズ 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 15
- 16. ソフトウェアアーキテクチャー 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 16 Source : https://one.toyota.com/member/post/c31d3894-458e-447b-8843-a960c0be1acc?uc=3018&g=28fa3d8a-d28e-4cfd-80a0-b68556bd2959&f=90248
- 17. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 17 展示会場の様子
- 18. 10/13/2023 All Copyrights reservedby Nissho Electronics USA Corp 18 展示ブース 写真：Linked In
- 19. 10/13/2023 All Copyrights reservedby Nissho Electronics USA Corp 19 セッション・会場 写真：Linked In
- 20. 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 20 注目スタートアップ
- 21. 注目スタートアップ 10/13/2023 All Copyrightsreserved by Nissho Electronics USA Corp 21 ネットワーククラウドAI オールインワン AIプラットフォーム プロセッサとメモリ間を 超並列接続 ネットワーキング、 メモリ処理などの機能を 統合 高性能、エネルギー効率 を誇るeFPGAを提供 組み込み型 音声センシングデバイス ドループの解消による 消費電力の低減 NPUに特化した 設計の提供 トレーニングデータの 取捨選択をサポート AIモデルとデータを最適 化するソフトウェア
- 22. 10/13/2023 22 社名 設立 2015年 本社Ra'anana, Israel 従業員 370名 資金調達累計 $587.0M 評価額 $2.5B / Series C 投資家 Pitango Venture Capital, Bessemer, Venture Partners, C4 Ventures 他 チーム Ido Susan（Co-Founder, CEO） • ネットワークの自己最適化技術 (SON) を開発するIntucellを 立上げ。Ciscoが買収。 事業概要 • ネットワークOSを提供。DDC（Distributed Disaggregated Chassis）アーキテクチャを採用し、複数の ネットワークデバイスでファブリックを組むことで1つのルー ターとして運用できる。高いパフォーマンスを提供し、遅延 も最小化することができる。 • 拡張性にも優れ、最大32,000GPUをサポートします。 Source : https://drivenets.com/ DriveNets（ネットワーククラウドAI）
- 23. SambaNova Systems （オールインワンAIプラットフォーム） 10/13/2023All Copyrights reserved by Nissho Electronics USA Corp 23 社名 設立 2017年 本社 Palo Alto, CA 従業員 346名 資金調達累計 $1.1B 評価額 $5.0B / Series D 投資家 Google Ventures 他 チーム Rodrigo Liang (CEO, Founder) • スタンフォード大で電気工学を 専攻。 • HP、サンマイクロ、オラクルでの 長期にわたる経験を経て、起業 事業概要 • 製品を購入すると、主要なモデルにおいて事前に基礎トレー ニングが完了した状態からAIサービスを開始できる。簡単な GUIで、自社の情報をインプットしていくことで、自社のAI システムをカスタマイズしていく。 • 柔軟性が高く、別の基盤にモデルを移動させたり、複数のモ デルを用途に応じて素早く切り替えることができる。 Source : https://sambanova.ai/
- 24. Untether AI （プロセッサとメモリ間を超並列接続） 10/13/2023All Copyrights reserved by Nissho Electronics USA Corp 24 社名 設立 2018年 本社 Toronto, Ontario, Canada 従業員 120名 資金調達累計 $152.0M 評価額 非公開 / Series B 投資家 CPP Investments, Intel Capital 他 チーム Arun Iyengar (CEO) • カーネギーメロン大でMBAを取得 • プログラマブルロジックデバイス （現：インテル）に20年勤務 事業概要 • エッジで行われるAI推論（アウトプット）に最適化された チップセットとソフトウェアを提供。プロセッサとメモリを 隣り合わせにし超並列接続させることで、パフォーマンスの 向上とエネルギー消費量の削減に成功。 • ソフトウェアは、Tensorflow、Pytorchなどの主要なフレー ムワークからモデルをインポートさせるために利用。 Source : https://www.untether.ai/
- 25. Enfabrica （ネットワーキング、メモリ処理などの機能を統合） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 25 社名 設立 2019年 本社 Mountain View, CA 従業員 85名 資金調達累計 $130.0M 評価額 非公開 / Series B 投資家 Sutter Hill Ventures チーム Rochan Sankar (CEO, Founder) • 半導体製造企業のCypress社にて 7年勤務。 • Broadcom社で約9年勤務 事業概要 • 独自のチップを開発。このチップには、CXLメモリ技術が組 み込まれている。大容量メモリの実現や、データセンター内 でのコンピューティング、ネットワーキング、メモリ処理な どの機能を統合を実現できる。 • 製品は現在開発中で、製品化は来年を予定。ソフトウェア開 発者向けにAPIやドライバーの提供も計画されている。 Source : https://www.stackpath.com/
- 26. Flex Logix （高性能、エネルギー効率を誇るeFPGAを提供） 10/13/2023All Copyrights reserved by Nissho Electronics USA Corp 26 社名 設立 2014年 本社 Mountain View, CA 従業員 77名 資金調達累計 $80.0M 評価額 $211.9M / Series D 投資家 Eclipse Ventures，Lux Capital 他 チーム Geoff Tate (CEO, Founder) • AMDでキャリアをスタートさせ、 IP企業であったRambusでは CEOを経験 事業概要 • 多大な処理が必要なAIなどの処理を独自のeFPGAにて高速化。 • 60以上の特許を持ち、高い性能とエネルギー効率を低コスト で提供。 • AIに関しては、主要なモデルをサポート。特に画像処理で広 く使われる「トランスフォーマー」にも対応。 • スマートシティ、スマートホームなどの分野で利用される。 Source : https://flex-logix.com/
- 27. Aspinity （組み込み型音声センシングデバイス） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 27 社名 設立 2015年 本社 Pittsburgh, PE 従業員 24名 資金調達累計 $24.9M 評価額 $24.1M / Series B 投資家 Anzu Partners, Amazon Alexa Fund 他 チーム Tom Doyle (CEO, Founder) • エレクトロニックシステム 設計のCadence社のビジネス 開発の責任者を務める 事業概要 • センサーからのデータの特徴抽出と分類を完全にアナログ電 子回路上で行うことができ、Pytorchなどで開発されたモデ ルをアナログ機械学習モデルに変換してチップにコンパイル。 • エネルギー効率やリアルタイム性などの面で優れている。 • ホームセキュリティ、ドライブレコーダー、産業用ロボット など多くの分野で利用されている。 Source : https://www.aspinity.com/
- 28. Movellus （ドループの解消による消費電力の低減） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 28 社名 設立 2014年 本社 San Jose, CA 従業員 33名 資金調達累計 $35.3M 評価額 非公開 / Series B 投資家 Intel Capital 他 チーム Mo Faisal (CEO, Founder) • ミシガン大学にて電気工学の 学位を取得 事業概要 • データセンターとエッジデバイスの両方にチップの設計に 関してライセンス供与をしている。 • 設計の特徴は、ドループ現象に対して、DVFS技術を適用。 電力消費量と性能の最適なバランスを維持することで、 結果的に、電力消費量は10％低減され、電力量が乱れやすい 場所でも耐性のあるシステム構築が可能となる。 Source : https://www.movellus.com/
- 29. Expedera （NPUに特化した設計の提供） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 29 社名 設立 2018年 本社 Santa Clara, CA 従業員 35名 資金調達累計 $18.0M 評価額 非公開 / Series A 投資家 Angel Investors 他 チーム Da Chuang (CEO, Founder) • スタンフォード大でEE 修士号、 博士号を取得 • メモリIPであるMemoir Systems を立上げ。Ciscoが買収。 事業概要 • NPUに特化したチップ設計のライセンス供与および関連ソフ トウェアを提供。 • 同社の設計では、トレーニング済のAI/MLを提供でき、最小 限のメモリ使用でアプリを実行可能。処理のスケジューリン グやメモリ管理を高い効率性で行うことにより、 パフォーマンスの向上、電力効率の改善が見込める。 Source : https://www.expedera.com/
- 30. Lightly （トレーニングデータの取捨選択をサポート） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 30 社名 設立 2018年 本社 Zurich, Switzerland 従業員 21名 資金調達累計 $3.1M 評価額 非公開 / Seed 投資家 Y Combinator, Soma Capital 他 チーム Matthias Heller (Co-Founder) • スイスのザンクトガレン大学で 経営学を専攻 • KOHLER社での３年にわたる 育成プログラムを経て、起業 事業概要 • アクティブ・ラーニングを利用して、重要なデータを抽出す る。効率的にデータをラベリング・選別を行えるようにする。 • エッジデバイスで取扱うデータ量を最小化することで、エッ ジ側での機械学習におけるデータ処理量、精度を向上させる。 • さまざまなモデルと統合が可能であり、柔軟な導入が可能。 Source : https://www.lightly.ai/
- 31. Numenta （AIモデルとデータを最適化するソフトウェア） 10/13/2023 AllCopyrights reserved by Nissho Electronics USA Corp 31 社名 設立 2005年 本社 Redwood City, Ca 従業員 25名 資金調達累計 $23.6M 評価額 非公開 / Series C 投資家 SkyMoon Ventures 他 チーム Subutai Ahmad (CEO, Founder) • リアルタイム・コンピューター ビジョンを利用した子供向け を提供するePlanet社を立上げ 事業概要 • 20年にわたる神経科学研究に基づいてデータとモデルの制御 を行うソフトウェアを提供。AIモデルの最適化によって、 破壊的なパフォーマンスが出る。CPU上で大規模なモデルも 実行可能。AIシステム構築におけるセキュリティ面、コスト 面が懸念を払拭。複雑な運用も不要となり、深層学習の知識 取得も不要。NuPICという製品を2023年9月に発表。 Source : https://www.numenta.com/
- 32. End of document 10/13/2023All Copyrights reserved by Nissho Electronics USA Corp 32
Editor's Notes
- #2 本日はこのようなアジェンダで進めます。極力わかりやすくお伝えできればと思いますので、最後までお付き合いくださいますようお願いいたします。
- #3 イベントの概要です。記載の通りです。このイベントは2018年に開催され、今回で6回目の開催となります。比較的小規模なイベントではありますが、昨今のAIの注目を受けて、年々参加者は増加傾向のようです。イベントに参加をしてみて、率直に思ったことは、AIだけのイベントはたくさんありますが、ハードウェアとセットで語られることでより現実的に実装のイメージがわきました。AIの開発担当者、運用担当者など約1,000名が参加しています。日本からの参加者はほとんどいらっしゃらなかったように見受けました。比較的、技術的な内容が多い印象です。
- #4 そんなAI Hardware and Edge AI に参加して得られた気づきを先に共有させていただきます。
- #5 まずは、AIの実装に関してクラウド事業者の取り組みが注目されていますが、「実際にはエッジ側の処理も意識しなければなりませんよ」いう気づきです。例えば、自社に特化した生成AI基盤を作ろうとした場合でも、膨大なデータのやり取りが利用者とクラウド側で発生しますので、おそらく企業は高い通信量を払う必要が出てきます。また、遅延の問題も出てきます。特に私の気付きになったのは、プライバシーの問題です。確かにエッジ側で処理できれば、プライバシーデータが外部に出ないのでメリットがありますね。 ２つ目は、クラウド、エッジの両面でAI時代に向けた設備投資、技術革新が進んでいますという内容です。詳細はこの後説明していきます。 最後、3つ目はユースケースは出てきていますよという内容です。AIをもって何をするかがトップランナーたちが明確に定義をして、実装、運用レベルまで進めています。コネクテッドカーなどはまさにリアルタイムデータの取り扱いをしますので、難しい領域ですが、できることを着々とテストをしながら進めている印象です。
- #6 今回のイベントでは約70のセッションが行われました。そのなかから、注目セッションを6つピックアップしてサマリを紹介させていただきます。
- #7 1つ目のセッションです。講演を行ったのは、グーグルやバイドゥといった大手ハイテク企業でチームを率いてきたアンドリューさんです。この講演では、AI技術の今後の見通しについて語られました。AIは本来汎用性が求められます。技術革新により深層学習ベースの生成AIが注目されています。深層学習は非常に優れている反面、実装には、現実的に7カ月以上の期間がかかります。大量のデータを学習する必要があるためです。このような大規模なAIモデルについては、データ量が増えるにつれて精度も上がりますが、強力なGPUを用意することからコストも上がっていきます。一方、教師あり機械学習など比較的小規模なモデルは、一定レベルで精度が止まる代わりにコストは一定レベルで頭打ちになります。前者は、広告生成や検索などに最適ですが、限られた用途においては、機械学習のほうが向いている場合があります。たとえば、ピザ工場におけるチーズの均一性をAIで確認したり、船舶の最適ルートにAIを用いることで燃料の利用を最適化したり、小規模なAIはこういうところで利用されます。そして、産業の性質に特化したものが多いのが特長です。実はここに大きな機会があります。問題は、産業の性質に特化するとカスタマイズが求められることです。機会があるのは、この分野において一定の汎用性を持つアプリが作られることです。具体的なアイディアをベースに、汎用的なアプリを使い、AIを構築する分野で多くの企業が成功することが言及されていました。カスタマイズは必要です。しかし、最近はノーコード、ローコードツールもあるので、ユーザー側で産業に詳しい構築パートナーとともに実装を進めることは簡単にできます。
- #8 2つ目は、ウォルデン・インターナショナルの共同設立者のタン氏の講演です。この方は、ケイデンス社他の会長を務め、ソフトバンクの取締役も務めた経歴があります。半導体、クラウド、ビッグデータ、人工知能、機械学習の専門家です。ケイデンス社の調査によると2029年に半導体の市場は現在の$511B（76兆5000億円）市場から2029年には$1T(150兆円）市場に成長するとのことです。市場成長の要因は、もはや説明不要かと思いますが、5G、Googleなどの事業者の増設、AI、自動運転、IIoTなどです。さらにデータの利活用も大きな要因です。活用できるデータの85％は非構造化データと言われています。しかしながら、現在それらのデータの2％ほどしか活用が出来ていません。ここには明らかに大きなギャップがあります。こうしたデータをリアルタイムに処理する場合、従来のクラウド設備だけではもちろん対応ができません。そのため、エッジ側の機器が必要です。昨今のエッジ側の機器はパワフルであり、単にデータをクラウドに上げるだけでなく、ローカルで分析をする能力を有する必要があります。クラウド側も、従来は、汎用的なコンピューティングを目的としてCPUベースの設備投資がされています。現在では、GPUなどのアクセラレーターの需要が高まっています。しかし、この目的はAIなどある程度制限がされます。今後は、より目的を絞ったハイパフォーマンスなものが必要となってきます。講演ではPurpose-Buildと表現されています。 また、タン氏は、GenAIの構築におけるエコシステムについても触れています。次のスライドで紹介しますね。 ※$1：150円換算
- #9 企業向けのカスタマイズされた生成AIをどのように生成するかは今後、業務の生産性を上げたい企業にとっては大きな課題になります。そこで紹介がされていたのがこちらの図です。各種ソフトウェアでは得意な領域があり、これらがエコスステムを構成しています。こうしたエコシステムの構築は昨今のトレンドです。利用者側は、適宜必要なものを選択して機能に応じて構築済のシステムと組み合わせることができます。図を見ていきましょう。左側に記載をしているのは、いわゆるメジャーなプレイヤーとなります。右側のスタートアップを必要に応じて組み合わせるようなイメージです。タン氏が特に注目をしていたのは、データレイヤーと生成AIレイヤーです。ここでは、データ分析、パーソナライズ、自動化、予測、サプライチェーンの最適化、不正検知、セキュリティ、開発業務効率化などに関連するソフトウェアが列挙されています。 なお、こちらの図は一般的なものであり、例えば医療の特化した生成AIを構築したい場合は、専門のソフトウェアを導入するといったことは十分にあり得ます。 メモ： MLIR はコンパイラ開発用のフレームワーク その他について Auradine:Web3.0 TWAICE：バッテリー分析 Flexcompute：Computational Simulation
- #10 次にGoogleのセッションです。MLシステム及びクラウドAIの責任者であるAmin氏の講演です。過去20年を振り返るとハードウェアの性能は、2、3年ごとに2倍になっています。コストについても、5年単位で半分に減少しています。現在、CPUの性能は2、3年ごとの倍増ではなく、毎年34％ずつ向上している状況です。コンピューティングにおいては、パフォーマンスは、2年ごとに2倍になっています。Googleにおいては、コンピューティングについて、より多くの計算能力を得られる一方で、需要の増加からより多くの費用がかかっています。モデルごとのパラメータの数は毎年約1000倍に増加しており、モデルのトレーニングに必要な計算量もパラメータ数に応じて急速に増加しています。多くの顧客は、モデルの開発に関して専門知識や時間、費用がかかりすぎるため、自社での開発を望んでいません。したがって、Googleの目標は、すべてをターンキーにし、顧客の要求に合ったリソースを提供していく方針とのことです。
- #11 具体的な取り組みはたくさんありますが、一部抜粋します。2015年よりGoogleはTPU（Tensor Processing Unit）と呼ばれるAI/MLの利用におけるハードウェアアクセラレータを開発しています。TPUはAIに関連する計算を高速化するために特別に設計されており、特定のタスクにおいては、GPUの数倍から数十倍のパフォーマンスを提供します。TPUは現在5世代目が開発されています。最新のものはNVIDIAの新チップH100をベースとしたもので、このチップ自体が前の世代のA2チップの3倍高速なトレーニングを提供できます。Googleはまた、利用用途を汎用的なものではなく用途を特化させることや、チップ同士を光回線交換技術を利用して高速に接続できるようにすることで、高密度なハードウェアを構築しています。Amin氏は、「控えめに見積もっても、同じコストで10倍から100倍の効率を生み出している」と語っていました。
- #12 ここからは、エンタープライズ企業の取り組みについていくつか紹介していきたいと思います。 ユニティは、ゲーム開発およびデジタルコンテンツの配信基盤を提供しています。また、生成AI技術を駆使して、文字入力からアニメーション、アート、アバターなどの制作を支援しています。最大の特徴は、PC、VR、スマートフォンなど、あらゆる種類のプラットフォームをサポートする点です。通常、制作物の作成は主にPC上で行い、昼のシーンを夜のシーンに変換するなどのAIを使った処理は、ユニティのクラウドプラットフォームで実行されます。この方法により、コストとコンピューターリソースの最適化が実現し、クラウド上ですべての作業を行わないため、効率的な運用が可能となります。ユニティの実装は、大規模展開にも適しており、省エネルギーでパフォーマンス向上に貢献します。 同社は、将来的にはリアルタイム3Dコンテンツがコンテンツ全体の50％以上を占めるだろうという明確なビジョンを持っており、これがインターネットトラフィックにおける重要な変革の一環であると考えています。しかしながら、偏見や問題のあるコンテンツを強化することなく、データを生成する方法については、今後の開発が必要です。 また、3Dコンテンツは産業利用にも適しており、製造業におけるデジタルツインの実装など、さまざまな応用が想定されています。
- #13 Airbnbは、積極的にAIへの投資を行っています。この秋には、顧客サービス担当者の業務を迅速化するためのサービス基盤を構築する計画です。Airbnbはキャンセルや差別に関する70以上の異なる顧客サービスポリシーを採用しており、これらはさまざまな予期せぬ事態に備えて100ページ以上の文書にまとめられています。これまで、経験の浅い顧客サービス担当者はこれらのポリシーを検索していました。AIプログラムは顧客の苦情を分析し、適切なポリシーを瞬時に提供でき、人間の負担を大幅に軽減します。さらに、AIの活用によりソフトウェアエンジニアの開発効率も向上させています。年内には、日常業務の30％をChatGPTのようなツールで処理できるようにすることを目標としており、さらにOpenAIとの連携も今年後半に計画されています。CEOのブライアン・チェスキー氏とOpenAIのCEOであるサム・アルトマン氏は、Y Combinatorでの出会い以来、密接な関係を築いています。また、パーソナライズされたレコメンデーションの提供についても、来年半ばまでに計画されており、その際にはユーザーについて正確に学習するモデルの開発も進行中です。 https://www.cnbc.com/2023/06/19/airbnb-ceo-brian-chesky-ai-will-make-entrepreneurship-easier.html https://www.businessinsider.com/airbnb-possible-ai-concierge-to-help-you-travel-next-summer-2023-7 今回のセッションでは、その裏側について語られました。Airbnbは、2017年から機械学習プラットフォームを開発しています。同時期に開発をしていたのはUber。2社以外のNetflix、Databrics、Google、MetaなどをはじめとしたAI先進企業は、ML Platform/ Infra MeetUp Clubという会合を通して、情報交換をしているようです。システムの中身については、後ほど簡単に紹介します。講演者は、自社がUberやNetflixと同様に価値提案を行う企業であることや個人のデータを持っていることから大規模なAIシステムを構築を行う動機があることを解説しています。
- #14 システム概要は非常に技術的な内容のため簡単にお伝えできればと思います。Airbnbでは、オープンソースにより基礎モデルを作成します。データ量は非常に膨大であり、30億件から700億件のデータが存在します。このモデルはそのまま利用すると非常に遅いシステムになったり、精度の低いシステムになってしまうため、モデルの微調整が必要となります。そこで、Airbnbは、ドメインごとに教師なし機械学習と教師あり機械学習を組み合わせた中間層を構築し、モデルを最適化しています。そのうえで、生成AIのインターフェイスと連動させて利用者が検索などを行っています。このモデルの微調整を行うことでモデル自体のサイズを圧縮し、コストを抑えながらもパフォーマンスを担保しています。別な講演ではありますが、小売業のWalmartやebayなども同様に「微調整」の重要さに言及をしていました。
- #15 続いては、フォルクスワーゲンの講演です。ここ数年で、多数のデバイスやセンサーが、多くのデータを生成し、それらのデータがクラウドサーバーにアップロードできるようになったと言っていました。それを受けて、デジタルとコネクテッド・スペースが急速に発展しているそうです。車の世界でいうと、2025年には1億台の自動車が存在し、高度なセンサーが搭載され、1カ月あたり1～10エクサバイトという膨大なデータがクラウドに送信される見通しです。このデータを使ってVWやトヨタは、デジタル・ツインを構築しています。その利用方法については次のスライドで解説します。
- #16 こちらのスライドではデジタルツインの活用例について示されています。下が物理的なレイヤーで上がクラウドです。クラウド上では、深層学習やその他の技術を活用した先進的な分析基盤が構築されています。例えば、運転者の癖を把握して助言をしたり、運転者の健康状態を測定して運転に関するアドバイスをしたり、高速道路などでの合流の際に、合流車の存在通知や最適な速度の助言をしたりできます。その他、社内での決済や車自体のヘルスチェックなど非常に多岐にわたります。また、パーソナライズも大きなテーマになっています。ARを使ったり、UI/UXの部分をよりカスタマイズしたりすることは運転を快適にするために重要視しているそうです。 用途によっては、データのアップロード頻度が変わります。実際、人は90%の時間を車の外で過ごします。バッチ的なデータアップロードは、人が運転していない時間に完了させます。一方で、難しい処理は、リアルタイムデータです。
- #17 リアルタイムデータに関しては、常にクラウドとの疎通が確保されなければなりません。TOYOTAはAWSやGCPを利用していますが、データセンターのない地域でリアルタイム通信をどのようにさせるかはまだ多くの課題があります。特に安全面に関わる機能については、サービス品質に関わる部分であるため、慎重にテストが行われています。この絵はクラウドの利用イメージを示しています。詳細は割愛しますが、複数のサービスをオープンソースを用いてバックエンドを意識せずに各アプリを開発・運用できるようにしています。また、最近の研究ではエッジ側での運転アシスト機能などの実装を進めており、先ほどのユースケースにおける高速道路への合流におけるアシスト機能は、リバーサイド大学とトヨタにて実験を成功させています。 https://nissho-ele.highspot.com/items/6503ac3b8f964f2dd7dabaff?lfrm=ssrp.0#10
- #18 続いて、展示会場の様子について少し触れさせていただきます。
- #19 展示ブースでは、ハードウェアが含まれるイベントということだけあって、多数の実物が置いてある点が特長的でした。小規模なイベントであることから、スタートアップとの会話はじっくりすることができました。展示会場では、デバイスの展示だけではなく、カメラで撮影した通行人の行動分析などのユースケースなども紹介されており、見ごたえがありました。
- #20 個別の会議室での打合せもありましたが、あまり多くの人が利用しているようには見えませんでした。セッションについては、プレゼンテーション形式が７割、対談形式が３割といったところでしょうか。ラウンドテーブルもありました。
- #21 続いては注目スタートアップの紹介に行きたいと思います。
- #22 今回のイベントでは、ピッチコンテストのようなものはありませんでした。今回は、イベントに出店していた企業の中から、私の独断と偏見で10社スタートアップを紹介します。 各社説明後にポーリング機能を用いて、みなさまが気になった2社を選定いただきますので、そのおつもりで聞いていただきますようお願いいたします。
- #23 最初にご紹介するのは、DriveNetsです。この会社はネットワークOSを提供しています。AIの運用における通信量は非常に膨大となります。対応するためのネットワークが貧弱である場合、多大なトレーニング時間やジョブ完了時間が発生してしまいます。高価なCPU/GPUの基盤を構築したとしてもそれが無駄になってしまいます。DDC（Distributed Disaggregated Chassis）アーキテクチャを採用し、複数のネットワークデバイスでファブリックを組むことで1つのルーターとして運用できます。遅延も最小化することができます。ハイパースケーラーの検証によると、ジョブ完了時間を10%〜30%削減、AIトレーニングのパフォーマンスを最大30%向上させるという結果も出ています。拡張性にも優れ、最大32,000GPUをサポートします。
- #24 続いては、サンバノバシステムズです。この会社はDARPAの支援のもと、言語認識におけるトレーニング済みの基礎モデルの初期開発を行った企業です。同社は、大手クラウドプロバイダー、銀行、法律事務所、医療機関などにAIシステムスイートを提供しています。製品を購入すると、主要なモデルにおいて事前に基礎トレーニングが完了した状態で生成AIのサービスを開始することができます。そこに簡単なGUIを用いて管理者は、自社の情報をインプットしていくことで、自社のAIシステムをカスタマイズしていくことができます。柔軟性に非常に優れており、必要に応じて別の基盤にモデルを移動させたり、複数のモデルを用途に応じて素早く切り替えることもサポートしています。
- #25 続いては、アンテサーAIについて紹介します。Untether AIは、エッジで行われるAI推論（アウトプット）に最適化されたチップセットとソフトウェアを提供しています。生成AIをはじめ、コンピュータービジョン、自然言語処理において、精度向上を目的に膨大な量のパラメーターが用意されています。その量は１年間で５倍のペースで増加しています。データはチップの中のプロセッサとメモリの間で移動して、AIのアウトプットを出していきます。この移動が発生するたびにチップはエネルギーを消費します。アンテサーAIが着目したポイントはこの部分です。プロセッサとメモリを隣り合わせにし超並列接続させることで、パフォーマンスの向上とエネルギー消費量の削減に成功しています。同社はチップ、アクセラレータカードの販売に加え、トレーニング済のモデルを適用するためのソフトウェアを提供しています。ソフトウェアは、Tensorflow、Pytorchなどの主要なフレームワークからモデルをインポートできます。
- #26 続いては、エンファブリカについて紹介します。Enfabricaでは、独自のチップを開発しています。このチップを使用することで、データセンター内でのコンピューティング、ネットワーキング、メモリ処理などの機能を統合することができます。特に新しい規格であるCXLと呼ばれるメモリ技術を活用し、CPUやGPUとの間で高速なデータ転送を可能にしています。拡張性にも優れ、従来のDDRメモリよりもはるかに大きな容量を持つことができます。製品は現在開発中で、製品化は来年を予定しています。製品は、高速ネットワーク帯域幅を活用し、データセンター内でデータ転送を効率的に行うために使用されることが期待されています。また、ソフトウェア開発者向けにAPIやドライバーの提供も計画しており、アプリ開発者がこのチップを効果的に制御し、最高のパフォーマンスを得ることができるようになる予定です。
- #27 続いては、フレックスロジックスについて紹介します。Flexlogixは、eFPGAを提供しています。FPGAは（皆様ご存じかと思いますが）ハードウェアアクセラレーションとして利用されます。FPGAが外付けなのに対して、eFPGAは超小型であり、チップの中に組み込まれます。そして、多大な処理が必要なAIなどの処理を高速化します。この会社では60以上の特許を持っており、他社よりもはるかに高い性能とエネルギー効率を低コストで提供できることが特長です。AIに関しては、主要なモデルをサポートしており、特に特に画像処理で広く使われる「トランスフォーマー」にも対応をしています。産業自動化、スマートシティ、スマートホームなどの分野の製品を開発する企業が顧客となっています。
- #28 続いてはアスピニティです。このプロセッサーは、センサーからのデータの特徴抽出と分類を完全にアナログ電子回路上で行うことができ、Pytorchなどで開発されたモデルをアナログ機械学習モデルに変換してチップにコンパイルしています。アナログ電子回路なので、エネルギー効率やリアルタイム性などの面で優れています。また、音を感知して必要なときにのみアクティブになり、無駄な電力消費を抑えることができ、乾電池の利用でも5年間利用できたケースもあります。このチップは組み込みシステムで使用することができます。さまざまな用途に適しており、ホームセキュリティ、ドライブレコーダー、産業用ロボットなど多くの分野で利用されています。
- #29 続いては、モべラスです。データセンターとエッジデバイスの両方向けにチップの設計をライセンス供与しています。モべラスの設計の特徴は、電圧やクロック周波数のモニタリングを行う点です。私も詳しくないのですが、特にエッジデバイスでは、一時的に電源の負荷が増加すると電圧が低下するドループという現象が起こり、動作に影響が出ます。DVFSと呼ばれる半導体チップの電圧とクロック周波数を動的に調整をする技術を同社の設計では組み込んでおり、これにより電力消費量と性能の最適なバランスを維持してくれます。結果的に電力消費量は10％低減され、電力量が乱れやすい場所でも耐性のあるシステム構築が可能となります。クラウドの利用においても、サーバーにPCIバスで組み込むことで電力消費を大幅に抑えることができます。 DVFS（Dynamic Voltage and Frequency Scaling）
- #30 続いては、エクスペンデラです。NPUとは、Neural Processing Unitの略で、主にAIやMLのタスクを高速かつ効率的に実行するために設計された専用のハードウェアまたはプロセッサユニットを指します。Expenderaは、NPUに特化した設計をチップメーカーや自社ブランドにライセンス供与および関連ソフトウェアの提供をしています。エクスペンデラが提供する設計では、トレーニング済のAI/MLを提供でき、最小限のメモリ使用で実行することができます。処理のスケジューリングやメモリ管理を高い効率性をもって行うことによりパフォーマンスの向上も期待できます。結果、電力効率が良くなります。そのため、電力制約があり、パフォーマンスを求められるアプリを実行する基盤には最適な設計となっています。柔軟性にも優れており、各種画像関連タスクから自然言語処理まで対応しています。 ※こういうビジネスモデルはARMが提供しており、いわゆるIPと呼ばれる。
- #31 続いては、Lightlyです。企業は、データを選択し、どのデータを無視するかを見極める必要があります。この選択技術を磨くことで、ごくわずかなデータで、最も影響力のあるデータを見つけることができます。そのためにデータへのラベリングは不可欠ですが、ラベル付けはとても面倒な作業です。Lightlyでは、はじめは人間によってラベル付けをサンプルとして行っていきますが、それ以降は、独自技術であるアクティブ・ラーニングにより、データ選択とモデルトレーニングを効率化してくれます。機械学習機能を組込まれたカメラ、ドローン、ロボットなどのエッジデバイスとの連携も可能であり、エッジデバイスは特定のデータのみを収集し、クラウドに戻すことができます。結果的に、モデルの信頼性が上がり、クラウドとの通信量を抑えることができます。さまざまなモデルにも対応しており、柔軟に組み込むことが可能です。
- #32 続いては、ニューメンタです。20年にわたる神経科学研究に基づいてデータとモデルの制御を行います。AIモデルの最適化によって、破壊的なパフォーマンスを提供し、CPU上で大規模なモデルも実行することができます。そのため、オンプレでの運用も可能となり、セキュリティを意識したオンプレミスのAIシステムを構築することができます（外部にデータが出ない）。また、従来のような大規模な設備投資も不要となるため、コスト削減も可能です。ソフトウェアは、Kubernets上に展開可能であり、柔軟なインストールが可能です。新しく別のモデルを簡単に組み込むことも可能です。複雑な運用も不要となり、深層学習の知識取得も必要なくなります。NuPICという製品を2023年9月に発表したところです。
- #33 駆け足での説明ではございましたが、私からの説明は以上となります。ご清聴誠にありがとうございます。 続いてQ&Aのセッションに移っていきたいと思います。 ご質問のある方は、Q&Aボックスからご質問をお願いします。 【重要】ここでアンケート発出忘れずに