Upgrade to Pro — share decks privately, control downloads, hide ads and more …

タスクの変化に応じて、最適なDeep neural networkモデルを自動編成するアルゴリ...

タスクの変化に応じて、最適なDeep neural networkモデルを自動編成するアルゴリズム を Ethereum上の「AIモジュール売買市場」の中で走らせるとどうなるのか、想像してみる

Google DeepMind と Google Brain の 次の2つのアルゴリズムを、Ethereum上の「AIモジュール売買市場」 プラットフォームの中で走らせると どうなるかを、想像してみる

(1) Google Brain発 NasNet (AutoML) モデル
タスクの変化に応じて、ネットワーク構造を自己変形させる Neural Network モデル

(2)DeepMind発 PathNet モデル
タスクの変化に応じて、複数のAIモデルを自動連結して、 最適なモデルを自動編成するアルゴリズム

connection_automated_ai

November 29, 2017
Tweet

More Decks by connection_automated_ai

Other Decks in Technology

Transcript

  1. Google DeepMind と Google Brain の 次の2つのアルゴリズムを、 Ethereum上の「AIモジュール売買市場」 プラットフォームの中で 走らせると

    どうなるかを、想像してみる (1) NasNet (AutoML) モデル タスクの変化に応じて、ネットワーク構造を自己変形させる Neural Network モデル (2) PathNet モデル タスクの変化に応じて、複数のAIモデルを自動連結して、 最適なモデルを自動編成するアルゴリズム
  2. Ethereum上の データ& AIモジュール売買 プラットフォームで、 タスク毎に最適なDeep Learning モデル を自動設計するAIアルゴリズム を 走らせる

    Ethereum上に構築された 「分析用データセット & AIモジュール売買市場」 分散アプリ(DApp) ① 与えられた課題を、短時間×高精度に解決するために、 既存の利用可能なAIモデルの部品(モジュール)のうち、 「どのAIモジュール」 と 「どのAIモジュール」 を、 どのような順番で つなぎ合わせると、求めているAIプログラム(AIモデル) を組成できるかを、自動的に見つけ出して、 ② 必要なAIモジュールを、smart contract で 予算制約の範囲内で 自動購入して、 ③ モデルを自動構築して、課題の解答結果を自動提案するプログラム
  3. このスライドで取り上げる内容 1. PathNet アルゴリズム 2. NASNet & AutoML アルゴリズム 1.

    SingularityNET 2. DigitX 3. Morpheo 4. Intuition Fabric 5. Pandra Boxchain
  4. このスライドで取り上げる内容 1. PathNet アルゴリズム 2. NASNet & AutoML アルゴリズム 1.

    SingularityNET 2. DigitX 3. Morpheo 4. Intuition Fabric 5. Pandra Boxchain
  5. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  AI技術は経済社会活動を規定 する決定的な技術にありつつある。 

    しかし、現在、AIモデルを開発する 手段(データと既存モデル資産) は、一部の大企業が、閉鎖的に 抱え込んでいる。  SingularityNETは、データと、 これまでに開発されたAIモデルの資産 を開かれた社会の共有資産として 誰もが自由にアクセスできるように することで、すでに開発済みの AIモデルを組み合わせることで、 人間並か人間を超える知性を持つ 汎用人工知能(Artificial General Intelligence)の形成を促します。
  6. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  SingularityNET は、オープンソースの smart

    contract プログラムの集合体 である。  複数の既存のAIサービスをつなぎあわ せて、互いの強みを活かし合い、より 優れたAIサービスを生み出す環境を 提供する。  この環境の中で、世界中のエンジニア が公開したAIモデルは、社会の共有 資産となり、誰もがアクセスして、 利用することができるようになる。  その結果、誰もが、既存のAIモデル を組み合わせて、新たなAIモデルを 開発したり、モデルが提供する サービスを享受する消費者になれる。  誰もが、SingularityNETにモデルを公開 したり公開されたモデルを購入できる。
  7. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  今日、ほとんどの企業は、 事業を展開する上で、自社の ニーズに応えてくれる

    AIモデルを求めている。  しかし、ほとんどの企業は、 ニーズに叶うAIを開発するの に必要な人材を抱えることが できないでいる。  SingularityNETは、既存のAI モデルとデータに、容易に アクセスできる環境を用意 することで、この問題を解消 する。  今日でも、エンジニアが開発 したAIモデルやデータは GitHubで公開されているが、 技術者でないとアクセス方法 がわからない。
  8. SingularityNET ( White Paper ) https://public.singularitynet.io/whitepaper.pdf  SingularityNETは、AIモデ ルとデータの売買市場 (marketplace)を提供する

    ことで、企業が SingularityNET独自の暗号 通貨を支払う ことで、必要 なAIモデルとデータを調達 できるようにするのと同時 に、  エンジニアは、自分がつ くったモデルや、 収集・クレンジング・整形 加工したデータを SingularityNET上で販売す ることで、収益を得ること ができる。
  9. SingularityNET  Uber や AirBnB が、それまで経済 社会の中で姿が見えなかった、 新しい「サービスの提供者」と「新 しいサービスの消費者」を発掘し たように、個人エンジニアが開発

    したAIモデルとデータセットを、(エ ンジニアでないと使い方がわから ないGitHubではなく)誰もが使え る共有資産(売買可能資産)として、 市場に上場することで、新しい サービスの提供者と消費者を出 現させる。  SingularityNETは、AI Agent(機械 モデル)が、自動的に他のAI Agentに作業依頼したり、データを やりとりしたり、仕事の結果を与え 合ったりできるようにするための smart contractを用意している。  SingularityNETは、AI Agentどうし の機械コミュニケーションだけでな く、人間がAI Agentに呼びかけて、 サービスの提供を依頼することも できるようなsmart contractも用意 する。  SingularityNETでは、独自暗号通貨である AGI token を 用いて、AIモデルやデータを売買したり、分散アプリその ものの運営ガバナンスに参加することができる。
  10. SingularityNET ”AI as a Service“ を掲げて、自律型AI Agent が、 他の自律型AI Agent

    や 人間と smart contract プログラム を通じて、やりとりを行う経済社会を実現させる
  11. SingularityNET ”AI as a Service“ を掲げて、自律型AI Agent が、 他の自律型AI Agent

    や 人間と smart contract プログラム を通じて、やりとりを行う経済社会を実現させる 2017年11月現在、Blockchain上には、 世界でおよそ800個の自律分散組織(DAOs) がリリースされているが、 その多くが、AIプログラムと連携したサービス の導入に、関心を示している
  12. SingularityNET ”AI as a Service“ を掲げて、自律型AI Agent が、 他の自律型AI Agent

    や 人間と smart contract プログラム を通じて、やりとりを行う経済社会を実現させる AI技術 に Blockchain技術と暗号通貨の技術を適応することで、 現在、利用に際して煩雑な手続きが必要なAIサービスを、 取り扱いが容易なAPI経由で利用できるようになり、ユーザの利便性が飛躍的に高まる。 独占的なAI企業が支配する経済社会で、それを実現することは難しい。 実現には、オープンで開かれた、非中央集権的なAI Agent API流通基盤が必要である。
  13. SingularityNET 最初から、魅力的な AI Agents が利用可能な状態で、プラットフォームを提供する ために必要な優秀な人材とパートナー企業を完備した SingularityNET は、 規模の経済(ネットワーク効果) を

    発揮することで、 他の同様なサービスを謳う AI Agent 売買市場型・AI Agent連携基盤型の分散アプリ・プラットフォーム に対して、圧倒的な比較優位性を掌握することができる。
  14. SingularityNET ( 運営体制)  Foundation (運営組織) を創設予定 (※ 登記に向けて法律顧問と準備中) 

    外部監査役(機関)が、Foundationの活動を倫理面、公益性担保の観点から監視  スタート当初は、Foundation理事会Board が 全体設計 と日々の運営を主導的に担う。  参加ユーザ(企業、個人)の数と活動量が十分に増えた段階で、 ユーザ・コミュニティ主導の運営に移行する(予定) Foundation (運営組織) は、登記に向けて法律顧問と準備中
  15. SingularityNET ( 当面の重点領域 ) ロボティクス企業として力のある Hanson Robotics 社 を パートナー企業として、迎えている。

     今後、AIサービスを提供する次世代のインタフェースとして、ロボティクス技術に 注目している。  その認識のもと、SingularityNETとして、多様な種類のロボットを開発することに関心 を寄せている。  ロボティクスはまた、汎用人工知能(AGI)の創出に寄与するものと考えている。
  16. Intuition Fabric(iFab) 分散台帳(IPFS)上 で、 Deep neural networkモデル と データ の

    有用度を定量評価して、 有用度の高いモデル&データを公開したユーザ を 「評判」払い出し で 支援する 「A.I.開発 の “民主化”」 を 推進する Dapps
  17. IntuitionFabric (iFab) ( White Paper ) https://gumroad.com/l/wxLP ( 0.99 US

    dollar で購入可能 ) ( 以下 は 無償版 ) (Free short version) Intuition Fabric Democratized Deep Learning AI https://docs.google.com/document/d/1f6Wm6RCSSqRpsJdZTwMsbfkuBlEP1V3QespPn1Dvpn8/edit#
  18. このスライドで取り上げる内容 1. PathNet アルゴリズム 2. NASNet & AutoML アルゴリズム 1.

    SingularityNET 2. DigitX 3. Morpheo 4. Intuition Fabric 5. Pandra Boxchain
  19. PathNet 学習済みのニューラル・ネットワークモデル が 複数、利用可能な状況下 で、 新たに取り組むタスク に 応じて、  どのNNモデル

    と どのNNモデル を、  どのような連結順序 で、どれだけの重み づけで、互いに 連結させると、  新たなタスクの解決 に 有効な 1つの巨大なニューラルネットワーク(Super Neural Network) を 編成することができるか ? という 「利用可能なAIモジュール」の「最適連結グラフ構造」を 探索する問題 を、全自動で行うアルゴリズム
  20. SingularityNET や Morpheo で(購入)利用可能なAI module SingularityNET や Morpheo で(購入)利用可能なAI module

    SingularityNET や Morpheo で(購入)利用可能なAI module データ&AIモジュール 売買市場 DApps は、PathNet に とって 最良の活動環境
  21. PathNet (画像の出典) ( 画像の出典 ) ① https://www.google.co.jp/imgres?imgurl=https%3A%2F%2Fcdn-images-1.medium.com%2Fmax%2F1600%2F1*4-9rcFvShvsA4mhCpRHaSg.jpeg&imgrefurl=https%3A%2F %2Fhackernoon.com%2Fdeep-learning-cnns-in-tensorflow-with-gpus-cba6efe0acc2&docid=ztcCq0GADECAvM&tbnid=d58QFWXF_tj9lM%3A&vet=10ahUKEwjW3vmNlq fXAhUMgbwKHaWBBz8QMwhEKBQwFA..i&w=1408&h=412&bih=954&biw=1924&q=deep%20Neural%20network%20model&ved=0ahUKEwjW3vmNlqfXAhUMgbwKHaW BBz8QMwhEKBQwFA&iact=mrc&uact=8

    ② https://www.deepcoredata.com/wp-content/uploads/2016/06/neuralnetworksanddeeplearning_com.png ③ https://msdnshared.blob.core.windows.net/media/2017/02/021717_1842_QuickStartG4.png ④ https://www.google.co.jp/search?q=LSTM&rlz=1C1SNJC_jaJP554JP554&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjtmJWrmqfXAhWJTLwKHZAGBR0Q_AUICigB&biw= 1749&bih=823#imgrc=IrwppVe-yiuXjM:
  22. タスクが与えられる前 - 利用可能なAI moduleとデータセットが DApps上に、無数にある - 売買市場 Dapps 上で、(購入)利用可能な AI

    モジュールプログラム or 学習用・検証用データセット データセット & AI モジュール 売買市場 DApps
  23. タスク ① PathNet アルゴリズム が 選抜した AI モジュール 出力層は、 PathNet

    アルゴリズム側 が用意する 出力層 中間層 第1層 中間層 第2層 データセット & AI モジュール 売買市場 DApps
  24. PathNet が タスク&データが変わるたびに 自動(再)編成してきた Super Neural Network を Blockchain に

    セキュアに記録する (モデルをバイナリで保存してもよいが、どのモジュールをどの順路と重みパスで結合したかの トポロジー構成を、 Json形式のようなデータ形式で保存する 方法がメモリ負荷が小さいか) 過去 現在 t-1時点目 の情報を記録 したブロック t時点目 の情報を記録 したブロック
  25. PathNet アルゴリズム が、以下を 機械的(自動的)に理解できるための仕組みが必要 ① Blockchain上に存在していて、(購入)利用可能な 1) 無数の「AIモジュール」 2) (モデル学習用&検証用)データセット

    が、それぞれ、 ② どのAddressのノードで記帳されているのか? ③ ( 1)の場合) どのようなデータ処理機能を提供して、引数の返り値のデータ型は何か ( 2)の場合) どのような内容のデータ・セットなのか(データ属性、プロパティ)
  26. PathNet アルゴリズム が、以下を 機械的(自動的)に理解できるための仕組みが必要 ① Blockchain上に存在していて、(購入)利用可能な 1) 無数の「AIモジュール」 2) (モデル学習用&検証用)データセット

    が、それぞれ、 ② どのAddressのノードで記帳されているのか? ③ ( 1)の場合) どのようなデータ処理機能を提供して、引数の返り値のデータ型は何か ( 2)の場合) どのような内容のデータ・セットなのか(データ属性、プロパティ) Ethereum 上では、ノードのAddress さえわかれば、コマンドを叩くことで、 関数のABI を入手して、関数の仕様(引数と返り値のデータ型)を 知ることは、できる
  27. AIモジュール売買 DApps上にある AI モジュール と データ・セットの ① Address ② 関数仕様(ABI

    :データ処理内容 & 引数・返り値のデータ型) or データ属性 の一覧リストがあり、PathNetのようなアルゴリズムが、リストの記載内容を、 機械的に読めなければならない 16bldtVb32aad5Tdcoiytqz797 83lqtVb7800lwjhlwpogmpwi 927yjlko;gyuftydtr9887t68po 07751ujkpqfsneu72q5hnmo9 987hkpu278tho9ouuihiojopi09 98yuihi0-8guy65euyk9pipok;pw 54opo-0uygbhjbyt5e789ugftr 78iuo0u78r65r54dyjki09-obk Addressリスト AIモジュール or データセット
  28. NASNet & AutoML(NAS) 取り組む タスク&データセット が 切り替わるたびに 「過去に、別のタスクに取り組んだ際に構築済みの Neural Networkモデル」

    が、 新たなタスク&データセットをうまく解決できる 「形(Neural Networkのネットワーク構造)」に、 みずからの形を変えて適応(自己進化、自己変形)する アルゴリズム
  29. NASNet ( 論文 ) Barret Zoph, Vijay Vasudevan, Jonathon Shlens

    and Quoc V. Le (2017), Learning Transferable Architectures for Scalable Image Recognition https://arxiv.org/pdf/1707.07012.pdf 2017年10月15日に、Google Brain から公開された。
  30. NAS これも、Google Brain から公開された。 ( 論文 ) ICLR 2017 採択論文

    Barret Zoph, Quoc V. Le (2017) Neural Architecture Search with Reinforcement Learning, International Conference on Learning Representations, 2017. https://arxiv.org/pdf/1611.01578.pdf
  31. NASNet の 進化の過程を Blockchain に セキュアに記録する 過去 現在 t-1時点目 の情報を記録

    したブロック t時点目 の情報を記録 したブロック CIFAR-10 データセットを用いた画像分類タスク に適応していた段階のNASNetモデル ImageNetデータセットを用いた画像分類タスク に適応していた段階のNASNetモデル
  32. 過去 現在 t-1時点目 の情報を記録 したブロック t時点目 の情報を記録 したブロック AutoML (NAS)

    の 場合 データAに対するタスク1 に適応したモデル データDに対するタスク7 に適応したモデル