Upgrade to Pro — share decks privately, control downloads, hide ads and more …

理系ナビ_日本におけるAI活用の状況と注目トピック

takumamitarai
September 29, 2021

 理系ナビ_日本におけるAI活用の状況と注目トピック

2021/09/29の理系ナビ プログラムにおける発表資料です。

takumamitarai

September 29, 2021
Tweet

More Decks by takumamitarai

Other Decks in Technology

Transcript

  1. 4 御手洗拓真 所属: 電通国際情報サービス クロスイノベーション本部 AIトランスフォーメーションセンター 経歴: 2015年3月:慶應義塾大学総合政策学部卒(近代史・社会学専攻) 2015年4月:新卒でとあるSIerへ入社し、 Azureベースの機械学習システム導入案件を推進

    2020年2月:ISIDへ中途入社 現在は、顧客支援と並行してAIを使った自社サービス開発に尽力中 業務: 機械学習システム開発・導入、自社のAIソフトウェアの開発、主にAzureによる アーキテクチャ設計 ディープラーニング検定との関わり: 2019年10月に、エンジニア資格を取得しました。 Qiita : https://qiita.com/tamitarai 趣味: コーヒー、ウィスキーなど 自己紹介
  2. 5 はじめに ⚫ お話すること ⚫ 皆さんが就職した後や、就活の面接で喋るのに使えるようなAI・機械学習の説明 ⚫ 日本企業におけるAI導入の状況 ⚫ 「AI活用の課題」におけるの注目キーワード

    ⚫ お話しないこと ⚫ 数学的な機械学習の仕組みについてのお話 ⚫ 皆様に理解してもらうための「機械学習とは?」というお話 ⚫ 個別のドメインにおけるコアな最新技術のお話
  3. 9 AI・機械学習とは? 従来型システムと機械学習に判定の違いとして、 「従来型は(基本)変化しない」「機械学習は変化する」ということを強調して説明します。 if ( 丸い顔==True, 毛が生えている==True, 耳が尖っている==True ):

    return "猫" 猫 従来型システム • 人間が詳細にルールや基準を定義して分類する • 一度ルールが決まれば、基本的には変わらない • AIがデータの背後にある法則性を見つけだして線を引く • データが変われば、線の引き方(=ルール)も変わる 機械学習 データ なんらかの軸(顔の丸さ) 耳のとがりぐあい 猫
  4. 10 従来型システムと機械学習のアプローチの違いは、「演繹法」と「帰納法」としても説明できます。 AI・機械学習とは? 答 Data • 正しい理論を一つ一つ積み重ねて、確実な答えに至る • 仮説検証 •

    理論が正しければ、答えは100%正しい 従来型システム:演繹法アプローチ 機械学習:帰納法アプローチ Data 答 答 答 答 答 答 • 答えから法則性を導き出す • ⇒人間と同じく100%ではないが、”曖昧さ”を 許容できる柔軟性がある • やってみないと分からないところがある
  5. 16 なぜ「システムは外部発注して終わり」になるのか? 余談ですが、「システムは外部に発注して作って終わり」という商習慣の背景としては 以下のように「雇用の流動性の低さ」が挙げられることが多いです。 アメリカ 日本 雇用の流動性が高い 雇用の流動性が低い 最悪、解雇できるので、 社内にIT人材を抱えるリスクが取れる

    解雇にしづらいので IT人材を社内に抱えるリスクが取りづらい 自社でシステムの開発から運用までをする システムごとに外部(=Sier)に IT人材をアウトソースして開発・運用をする ※ちなみに「それなら雇用の流動性を上げればいいんだ!解雇規制を緩和だ!」みたいな雑な議論を時々見ますが、 そんなに単純なら苦労しないのです。皆さんは、「ではなぜ雇用流動性が低い労働法制になっているのか?」というところまで 考えて頂けるとうれしいです。
  6. 20 Auto ML ⚫ インプットされたデータに対して最適な前処理、アルゴリズム、ハイパーパラメータを探索し、簡単に高精度 なモデルを作成する技術 ⚫ 一般的なタスクであれば、データ作成までできれば投入するだけでコンペ上位レベルのモデルができる ⚫ 各社、いろいろなサービスを出しており、ISIDもOpTApfというサービスをリリース

    OpTApfの製品ページ→https://isid-ai.jp/products/optapf.html https://youtu.be/0nGdTPJvjDI 具体的なサービスイメージ サービスによって異なるが、 例えばMicrosoftのAuto MatedMLは、協調フィルタリ ングとベイズ最適化問題を組み 合わせることで、上記の探索を 効率化している 以下のAzure Machine Learningの動画がわかりやすいです しくみ https://arxiv.org/pdf/1705.05355.pdf
  7. 21 学習済みモデルのAPI提供 ⚫ 画像、音声、自然言語、動画、etcとかなり色々なデータ・タスクが既にAPIとして提供されている ⚫ これらの多くは有料だが、すぐにAIを使って課題を解決できる Microsoftが提供するAPI Microsoft Azureは、APIとして例えば以下のようなAIを提供しています。 (以下は一例です。実際にはもっとあります。)

    以下は、Azure Compute Visionの利用イメージです。 画像に写り込んだオブジェクトの位置を検出し、 それが「自転車」であることを特定しています MicrosoftのAPI利用画面例 https://docs.microsoft.com/ja-jp/azure/cognitive-services/what-are-cognitive-services https://azure.microsoft.com/ja-jp/services/cognitive-services/computer-vision/#featu
  8. 30 データ 収集 教師 データ作成 モデル訓練 ・ 評価 本番環境 へのデプロ

    イ ユーザーに よる利用 利用結果からフィードバック MLOpsとの関係 紹介するキーワードをMLOpsの簡易モデル上にマップすると、こんな感じです 収集 連合学習 メタ学習 モデル 軽量化 AIに対するセキュリティ
  9. 31 データ 収集 教師 データ作成 モデル訓練 ・ 評価 本番環境 へのデプロ

    イ ユーザーに よる利用 利用結果からフィードバック 連合学習(Federation Learning) 連合学習 AIに対するセキュリティ メタ学習 モデル 軽量化
  10. 32 連合学習(Federation Learning) 背景の課題 ⚫ データを収集する際、プライバシーの問題や機密性がハードルになることが多い ⚫ スマホやアプリなどでユーザーの情報を収集したとしても、それをクラウド上に集約できない ⚫ 各企業がもっているデータを外に出さずに、企業間で協力したい

    概要 ⚫ データを一箇所に集約して学習するのではなく、データを保持したデバイスごとに分散してモデルを訓練 ⚫ 各デバイスは、訓練によって得られたパラメータの勾配だけをクラウドに送信し、 大元のモデルのパラメータを更新する https://arxiv.org/pdf/1907.09693.pdf
  11. 33 データ 収集 教師 データ作成 モデル訓練 ・ 評価 本番環境 へのデプロ

    イ ユーザーに よる利用 利用結果からフィードバック 連合学習 AIに対するセキュリティ メタ学習 メタ学習 モデル 軽量化
  12. 34 メタ学習 背景の課題 ⚫ DLで精度の良いモデルを作成するには、大量のデータで学習する必要がある ⚫ しかし、業務上のタスクを解くモデルを訓練させるための教師データを大量に作るのは、すごく大変 例えば「機器の故障原因」を分類したいけど、同じ原因が違う名前で入力されてるなど、ラベルをつけるのが大変 概要 ⚫

    さまざまなタスクでモデルを学習させ、「いろいろなタスクでどのようにパラメータを学習しているのか」を 学習させることで、新たなタスクのデータが少ししかなくても、精度の高いモデルを構築するための訓練手法 [引用]https://arxiv.org/pdf/1703.03400.pdf タスク1に 最適化させた パラメータ タスク3に 最適化させた パラメータ タスク2に 最適化させた パラメータ いろんなタスクに すぐに適応できる メタパラメータ
  13. 35 ※ は同じ構造をもつネットワーク 2-2. ねずみハムスターを分類するタスクに 最適化したパラメータを学習 2-3. 狼・狐分類するタスクに最適化したパラメータを学習 1. 共通のメタ・パラメー

    タで各タスクのネット ワークを初期化 (=最初はぜんぶ同じモ デルからスタート) 5. メタ・パラメータを 更新する 3-2. ねずみハムスター 分類タスクの損失を算出 3-3.狼・狐分類タスクの損失を算出 4.各タスクの 損失合計の 勾配を計算 メタ・ Optimizer 2-1. 犬猫を分類するタスクに最適化した パラメータを学習 犬猫分類タスク に最適化した パラメータ ねずみハムスター 分類タスク に最適化した パラメータ 狼・狐分類 タスクに最適化した パラメータ メタ・ パラメータ メタ学習の流れイメージ 3-1. 犬猫分類タスクの損失を算出
  14. 36 データ 収集 教師 データ作成 モデル訓練 ・ 評価 本番環境 へのデプロ

    イ ユーザーに よる利用 利用結果からフィードバック 連合学習 AIに対するセキュリティ メタ学習 モデル軽量化 モデル 軽量化
  15. 37 モデルの軽量化 背景の課題 ⚫ 高精度なモデルではパラメータ数が増え、リッチな計算資源が必要になる傾向がある ⚫ しかし、エッジデバイスなどで訓練や推論を行うユースケースでは、リッチな計算資源確保ができない (エッジじゃなかったとしても、リソースを確保するのはたいへん) 概要 ⚫

    ネットワーク中の重要度が低いノードを削減してパラメータ数を減らしたり、行列計算を簡易化して演算回 数をへらすなどの工夫によって、精度をできるだけ確保しつつ必要なメモリや演算回数を削減する 元々のネットワーク 重要度が低いネットワークを削除
  16. 38 モデル軽量化技術のいろいろ 分類 概要 メモリ削減 演算量削減 精度維持 枝刈り あまり重要ではないノードの重みをゼロにする。 巨大なネットワークには、特定タスクの精度を維持するサブネット

    ワークが含まれることが知られている。[Malach+’20] ◦ ◦ ◎ 低ランク近似 重み行列を低ランクの行列に分解する。 ◦ ◦ ◦ 量子化 ネットワークのパラメータを量子化することで、モデルを軽量にする (16bitの浮動小数点を8bitにするなど)。 ただし、量子化の方法によっては大きく精度が悪化する ◦ △ △ 蒸留 大規模なモデルの出力を教師データとして、 小さなモデルを訓練する ※ ただし、小さなモデルの選択によっては大きく精度が低下する ◦ ◦ △ 重み共有 モデルの重み係数を、複数のノード間の接続でも共有する手法。複数 の係数を一つにするため、メモリ使用量が削減される。 しかし、結局演算はするため、演算回数が大きく減るわけではない。 ◦ △ ◦ 畳み込み分解 大きな畳み込みカーネルを、小さな畳込みカーネル複数に分割する ◦ ◦ △ 一口に「軽量化」といっても「メモリ削減」と「演算量削減」という大きく2つの観点があり、手法もいろ いろです。そのなかでも「枝刈り」は、精度を維持しながらモデルを軽量化ができます。
  17. 39 データ 収集 教師 データ作成 モデル訓練 ・ 評価 本番環境 へのデプロ

    イ ユーザーに よる利用 利用結果からフィードバック 連合学習 AIに対するセキュリティ メタ学習 AIのセキュリティ モデル 軽量化
  18. 40 AIのセキュリティ 背景にある課題 ⚫ AIを実運用に乗せるにあたって、AIシステム特有のリスクに備える必要が生じている 概要 ⚫ 大きく分けて、以下の二つのタイプの攻撃に対する防御策を講じることとなる 参考:宇根 正志「機械学習のセキュリティの研究動向:金融サービスでの活用を展望して」

    https://drive.google.com/file/d/1P_VXPYDkt6l5KuxsjAaty0M4i_0wTBCF/view 1. データの完全性に対する攻撃 (データを改善したり、おかしな出力をさせたりする) 2. データの機密性に対する攻撃 (秘密にしておきたい情報を漏洩させる) 例:有名な、パンダの画像にノイズを加えて手長ザルと認識させる攻撃 https://arxiv.org/pdf/1412.6572.pdf 例:モデルが出力する確信度などから訓練データを生成する https://dl.acm.org/doi/pdf/10.1145/2810103.2813677 生成画像 訓練画像
  19. 44 ITのフルスタック能力 × AI × Biz(ビジネス)スキルでビジネスを創造できる人材へ 電通国際情報サービス(ISID) X(クロス)イノベーション本部 AIテクノロジー部での成長 UVP

    ・機械学習 アルゴリズム ・統計解析 ・機械学習工学 ・ディープラーニング ・Webシステム構築 ・MLOps ・データ分析基盤構築 ・IoTシステム構築 ・PM、PdM ・デザイン思考(UX/UI) ・ビジネスクリエーション (リーン, ジョブ理論, etc.) ・業界や分野の専門知識 IT技術 Biz AI/データサイエンス フロントエンド バックエンド コンテナ・仮想化 クラウド&インフラ AI/ML アジャイル開発(スクラム)