電笑戦ハンズオン / DENSHOSEN Hands-on

ボケて電笑戦のボケ AI モデルを学習させるハンズオンです。
ボケての紹介、ボケ AI モデル解説、などのコンテンツも含まれています。
https://github.com/aws-samples/bokete-denshosen

Transcript

1. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2022, Amazon Web Services, Inc. or its affiliates. ボケて電笑戦ハンズオン #awsbasics #電笑戦 針原 佳貴 (Yoshitaka Haribara, Ph.D.) A W S S u m m i t 直 前 企 画 スタートアップ 機械学習 ソリューションアーキテクト Amazon Web Services Japan
2. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda • 「ボケて電笑戦」とは • ボケ AI モデル解説 • 電笑戦ハンズオン • AWS Summit 電笑戦 にむけて • まとめ
3. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介 針原 佳貴 (はりばら よしたか) AWS Japan スタートアップ ML ソリューションアーキテクト ⼤阪府出⾝。2018年に東京⼤学⼤学院情報理⼯学系 研究科博⼠課程修了後、AWS Japan に⼊社。 以来スタートアップ担当のソリューションアーキテクト として機械学習基盤の設計や機械学習プロジェクト、 最近は量⼦コンピューティング案件も⽀援。 趣味はドラム。
4. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 写真で⼀⾔ ボケて by オモロキ
5. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 例題
6. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 例題と解答例
7. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ボケて電笑戦では、ボケのビッグ データを⽤いて学習させた AI が ボケを⾃動⽣成する • 3名の出場者がモデルを持ち寄り ⾯⽩さと技術を競う • この技術セッションでは、 電笑戦を⽀える AI モデルなど、 その詳細を紹介します ボケて 電笑戦 Presented by Omoroki & Dentsu Digital ࣸਅͰҰݴ
8. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ボケビッグデータについて (提供: オモロキ) • ボケてに投稿されているボケは全部で約9300万ボケ • そのうちお題画像がクリエイティブコモンズ ライセンスの約100万ボケをピックアップ • データ量が多いため、扱いやすいよう ユーザーからのボケ評価数に応じて 「ボケ⽸」としてパッケージ化し提供 ボケ⽸データセット (合計 1,100,542 ボケ): • BokeKanSP 評価数 10,001以上 (380 ボケ) • BokeKanRed 評価数 1,001 – 10,000 (8,183 ボケ) • BokeKanGreen 評価数 101 – 1,000 (37,342 ボケ) • BokeKanYellow 評価数 1 – 100 (955,901 ボケ) • BokeKanBlue 評価数 0 (98,736ボケ) ボケビッグデータが⼊ってるボケ⽸イメージ BokeKanSP BokeKanRed BokeKanGreen BokeKanYellow BokeKanBlue
9. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 「ボケ⽸」データセットの中⾝ (提供: オモロキ) boke.csv README.md (Photo by Kullez, licensed under the Creative Commons Attribution License 2.0) Images
10. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. “a surfer riding on a wave” 画像の説明⽂ (キャプション) を ⽣成する分野は、2015年頃から 深層学習の技術が使われ始めた。 当初はCNN (画像特徴量抽出) と RNN/LSTM (⽂章⽣成) を 掛け合わせたシンプルなモデルが 主流であった。 深層学習を⽤いた画像の説明 (License: Public Domain [Image source])
11. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ベースラインのモデル (提供: 電通デジタル) 2014年頃から盛んに研究されている Encoder-Decoder モデルを⽤いて 画像をテキストに「翻訳」する。 • Encoder: CNN (ImageNet で学習 された VGG16) の全結合層から ⼊⼒画像の特徴ベクトルを抽出。 • Decoder: LSTM (系列モデル) に繋げることでキャプションを⽣成。 前ステップの出⼒を次の⼊⼒として ⽤いることで⽂章を再帰的に⽣成。 電笑戦企画・コーディネートの電通デジタル ⽯川 隆⼀ ⽒より提供された ベースラインのモデルを電笑戦ハンズオンとして GitHub で公開中 https://github.com/aws-samples/bokete-denshosen Input image CNN LSTM LSTM LSTM LSTM <start> a surfer <end> <start> a wave … Encoder (CNN) Decoder (LSTM)
12. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker
13. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS AI/ML AI SERVICES Code + DevOps Amazon CodeGuru Amazon DevOps Guru Business processes Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon Lookout for Metrics Search Amazon Kendra Industrial Amazon Monitron Amazon Lookout for Equipment Amazon Lookout for Vision Healthcare Amazon HealthLake Amazon Comprehend Medical Amazon Transcribe Medical SPECIALIZED Chatbots Amazon Lex Text & Documents Amazon Translate Amazon Comprehend Amazon Textract Speech Amazon Polly Amazon Transcribe Amazon Transcribe Call Analytics Vision Amazon Rekognition AWS Panorama CORE ML SERVICES Manage edge devices Learn ML No-code ML for business analysts Prepare data Store features Detect bias Build with notebooks Manage & monitor Train models Deploy in production Tune parameters Explain predictions CI/CD Label data SAGEMAKER CANVAS SAGEMAKER STUDIO LAB AMAZON SAGEMAKER STUDIO IDE ML FRAMEWORKS & INFRASTRUCTURE TensorFlow, PyTorch, Apache MXNet, Hugging Face Amazon EC2 CPUs GPUs AWS Trainium Elastic inference AWS Inferentia FPGA Habana Gaudi Deep Learning Containers (DLC)
14. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker でモデル構築、トレーニング、デプロイ トレーニングデータを収集して準備 完全マネージド型データ処理ジョブ/ データラベル付けのワークフロー MLアルゴリズムを選択または 独自モデルを持ち込み コラボレーティブ・ノートブック ビルトインアルゴリズム/モデル トレーニング環境の設定と管理 ワンクリックでトレーニング モデルのトレーニング、 デバッグ、チューニング デバッグと 最適化 トレーニング実行の 管理 実験を視覚的に追跡して 比較する 本番環境での モデルの展開 ワンクリック展開と 自動スケーリング モデルの モニタリング コンセプトのドリフ トを自動的に検出 予測の検証 予測のヒューマンレ ビューを追加 本番環境の拡張と管理 完全マネージド型 自動スケーリングで 75% 削減 ML用ウェブベースのIDE モデルの自動構築とトレーニング
15. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Studio Notebooks 共有可能・高速起動 ノートブック シングルサインオン (SSO) で簡単アクセス ノートブックに数秒でアクセス 完全マネージド型で安全 管理者によるアクセスと権限の管理 迅速なセットアップ コンピューティングリソースを稼働させずに ノートブックを起動 簡単なコラボレーション ワンクリックでノートブックの共有 柔軟性 コンピューティングリソースを起動・シャットダウン
16. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Processing データ処理とモデル評価の ための分析ジョブ 完全マネージド型 クラスタの分散処理の実現 カスタム処理 フィーチャエンジニアリング用の独自のスクリプトをご持参 ください コンテナサポート SageMaker のビルトインコンテナを使用するか、独自のコ ンテナをご持参ください セキュリティとコンプライアンス SageMaker のセキュリティ機能とコンプライアンス機能を活用 自動作成と自動終了 リソースは自動的に作成、設定、終了
17. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker は 1クリック で お客様のモデルを トレーニング シングルパス トレーニング メモリに縛られない 再トレーニング用 チェックポイント お客様独自の アルゴリズムを トレーニング デフォルトで 分散学習可能 データストリーム上 でのトレーニング
18. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker フルマネージド型: ワンクリックでモデル展開 自動スケーリング 低レイテンシーと高スループット BYOL Python SDK エンドポイントに複数のモデルの展開
19. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ハンズオンコンテンツを公開しています https://github.com/aws-samples/bokete-denshosen
20. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 5/25 18:30- AWS Summit 電笑戦 にむけて 電笑戦出場者 • 森⻑ 誠 ⽒ (ストックマーク株式会社) • 中⻄ 健太郎 ⽒ (株式会社ミクシィ) • カレーちゃん ⽒ 登壇者 • コメンテーター: FUJIWARA さん、司会: ⾕井 • 技術解説: 針原・⽯川、NG ボケ判定: ⻲⽥ そして今⽇ハンズオンに参加された皆さんも、 電笑戦当⽇、AWS ジャパン公式 Twitter @awscloud_jp よりお題画像 を投稿します。本⽇作った AI モデルを使って #電笑戦 ＃AIでボケた の２つのハッシュタグ付けて公式投稿にコメントしてください︕ ࣸਅͰҰݴ
21. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates. 針原 佳貴 Twitter: @_hariby ⻲⽥ 治伸 Twitter: @kameoncloud