Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

 ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

誰でも手軽にAIを使うことができるプラットフォームが生まれました。 「AIで何かできないか?」「AIで試したいアイデアがある…」 ビジネスの最前線で悩むあなたに、AIを手軽に「学べる・作れる・試せる」クラウド型AIプラットフォーム「AIMINA」を事例を交えてご紹介します。当セッションの後半では、AIプラットフォーム「AIMINA」のシステムについて、システム設計コンセプトや技術的チャレンジをご紹介いたします。

■関連リンク
・AIプラットフォーム「AIMINA」
https://aimina.com/

・「AIMINA」YouTubeチャンネル
https://www.youtube.com/channel/UC5lRAm4_0MdJ9G0qCBa0bag

■作成者
渡邉 敬介(わたなべ けいすけ)
SB C&S株式会社
AIMINA事業推進室
室長

金井 良太(かない りょうた)
SB C&S株式会社
AIMINA事業推進室
エンジニア

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

SoftBank Tech Night

March 16, 2023
Tweet

More Decks by SoftBank Tech Night

Other Decks in Technology

Transcript

  1. 1. 会社紹介及び発表者紹介 2. AIMINA(アイミナ)とは • サービス紹介 • 活用事例 • 利用について

    3. AIMINAのシステム構築について • システム設計コンセプト • 技術的チャレンジ アジェンダ
  2. 3 コンシューマ 法人 流通 ※従業員数は2020年4月現在 ※SB C&S株式会社 第6期(2020年3月期) 決算より(日本基準 単体)

    売上 5,081億円 ヤフー 従業員数 1,865人 その他 ソフトバンクグループ 株式会社 戦略的持株会社 ソフトバンク株式会社 ソフトバンク事業の主要セグメントの一角を担う 投資事業 ファンド事業 SoftBank Vision Fund ソフトバンク事業 SB C&Sの位置づけ
  3. 4 IoT Core Business Base Business Drone AI Robot Cloud

    New Focus Business License Package PC Peripheral etc Any Cloud Distribution Technical Support Post Support 販売パートナー 全国10,000社 取扱メーカー 4,000社 SB C&Sのビジネス
  4. 5 渡邉 敬介 SB C&S株式会社 AIMINA事業推進室 室長 米国UNIVERSITY OF MIAMにてBBA取得

    日本IBMにて営業及びマーケティング、 アパレル企業にて経営企画、 1年間かけアジアからアフリカまでバックパック、 米国へ移住しITコンサル企業にてシステムコンサル、 その後、2017年9月にSB C&S株式会社入社し、 202年4月より現職につく。 発表者紹介 金井 良太 SB C&S株式会社 AIMINA事業推進室 エンジニア エンジニアとしてiOSアプリケーションの開発や機 械学習関連のPJへの従事、 Kaggle参加などの経験を経て、 2021年8月にSB C&S株式会社に入社。 趣味は絵画や美術館巡り。
  5. 以上のモデルを搭載 結果を取得 お客様 データ AIを手軽に! やりたいことを選んで データをドラッグ&ドロップ 画像系 x 6

    ・物体検知 ・画像分類 ・異常検知 ・セグメンテーション ・姿勢推定 など 言語系 x 4 ・QA *2モデル ・文書分類 ・文書要約 数値系 x 10 ・時系列予測 ・テーブル回帰予測 ・時系列異常検知 ・時系列クラスター ・離職者予測 など 音声系 x 1
  6. ドラレコで撮影した物体(信号機、標識、 電柱など)をAIで検知 良品データをAIに学習させ、良品と異な る特徴をもったデータを識別 建設現場の安全管理として、 クレーン下の作業員を検知 公共測量事業 製造業 建設業 物体検知

    プロジェクト毎に必要な AI開発を自社で運用! 画像異常検知 検品作業の自動化で 生産コストを削減! 物体検知 危険を検知することで 安全管理の向上!
  7. 保守/メンテビジネス拡大に向けて 過去実績からオポチュニティ発掘 発注システムに登録された情報 をAIで分析可能なデータへ 社内の様々な部署で行われている 問合せ業務の効率化に挑戦 IT企業 流通業 製造業 QA(質疑応答)

    3名体制の問合せ業務を 4割削減にチャレンジ! 文書分類 活用できていなかった 社内データを有効活用! 文書要約/文書分類 活用できていなかった 社内データから売上拡大!
  8. 週次で作成するレポート業務を 時系列予測モデルで効率化 発電機の状態監視業務を 数値系AIモデルで効率化 社員属性及び勤怠情報から離職の 可能性がる属性を予測 流通業 電力・ガス業 IT企業 時系列予測

    月16時間以上かかる レポート業務をAIで数分に! 数値系AI 障害時対応を迅速にし、 安定性向上に向けた挑戦! 離職者者予測 働き方改革が進む中 早めの社員ケアを!
  9. 17 ▪AI活用アセスメント -AIで実現したい課題を定義 -AI活用スコープを定義 -データ要件定義 •PrePoCで実現性を確認 •結果をふまえ戦略策定 ▪プロジェクト計画 -ビジネスプランの作成 -プロジェクト体制構築

    ▪社内承認 ▪データの収集 ▪データ分析 ▪データ作成 ▪モデルの設計 ▪学習 ▪精度検証・評価 ※繰り返し実施 ▪モデル構築 ▪AIモデル利用 クラウド/オンプレ ▪アプリケーション開発 ▪システム環境構築 ▪デプロイ ▪ユーザートレーニング ▪運用体制構築、稼働 ▪精度検証 ▪データ再収集 ▪データ作成 ▪モデル再構築 ▪再デプロイ 構想 データ収集 開発 運用 PoC データ収集/ アノテーション /学習/評価 PoCを繰り返し 実用可能な精度へ AIプロジェクトの進め方
  10. 18 ⚫ AIでやりたいことがどこまででできるのか? ⚫ 業務効率化させたい内容はAIで解決できるのか? ⚫ データは揃っているか?どのようなデータが必要か? 構想 データ収集 開発

    運用 PoC まずは試してみる!事前PoCの実施 事前PoCができれば プロジェクト化 に向けた構想フェーズ が進められます! (要件定義、社内承認、予算化など) AIの目的 利用 AI手法 活用 データ AIMINAでできること1 プロジェクト化に向けた要件定義に
  11. 19 お手持ちのデータでAIMINAでAIモデルを作って、 評価することで、実業務に最適なAIモデルを生成! データ収集 開発 運用 PoC 画像系、言語系、 数値系など 20種ほどのAI

    を使って 繰り返しPoCを実施! 構想 ノーコードでAI開発AIMINAでPoCの実施 複数種類の モデル生成 最適なデータ 作成 精度の比較 AIMINAでできること2 AI開発PoCをノーコードで実施
  12. 20 AIMINAで作成した学習済AIモデルを使って 日々の運用し、最新のデータでモデルを更新。 データ収集 開発 運用 1. リアルタイム性を伴わない 月次の売上予測などは AIMINA上で実運用(推論)

    2. リアルタイム性を伴う 生産ラインの画像異常検知などは モデルダウンロード機能で 学習済モデルをダウンロードし システムに組み込んで活用 *システムへの組込み開発はAIMINAサービス に含まれておりません 構想 AIMINAで作成したAIで実運用 AIMINA上で 実運用 モデルダウン ロード機能活用 PoC AIMINAでできること3 AIMINAと使って運用
  13. 出荷予測による 在庫や欠品削減 回帰予測で不動 産/車両価格予 測 画像分類による 未装着検出 異常検知による 不良品検知 文書分類による

    メールの仕分け 質疑応答による 自動回答検証 需要予測AI 画像処理AI 文書処理AI 期間: 1か月 料金: 無料 利用時間: 60h/月 AIプラットフォーム「AIMINA」 フリートライアルプラン 受付中! 20種類以上のAIを、今なら1か月間ご利用可能! 試したかったAI開発を是非この機会に!
  14. 24 Challenges • ユーザの挙動 • 気軽に試してもらいたい • 使われ方が未知数 • ワークロードの違い

    • 学習モデルによっては数分〜数日間 • 同じモデルでもデータ量に数分〜数日間 • 開発リソース • 人的リソースの制限や期間の制約 • AIモデル開発にフォーカスしたい
  15. 26 Serverless • サーバーの構築 • OSセットアップ、ネットワークの設定 • ランタイムやミドルウェアのセットアップ • サーバーの運用管理

    • キャパシティ • スケーラビリティ • 耐障害性 • セキュリティパッチ • ビジネスの差別化に繋がらない機能 • 認証 • APIスロットリング Undifferentiated Heavy Lifting (ビジネス価値を産まない作業)
  16. 27 •開発効率の向上 •開発サイクルの高速化 •より本質的な機能に注力 Undifferentiated Heavy Lifting (ビジネス価値を産まない作業) • サーバーの構築

    • OSセットアップ、ネットワークの設定 • ランタイムやミドルウェアのセットアップ • サーバーの運用管理 • キャパシティ • スケーラビリティ • 耐障害性 • セキュリティパッチ • ビジネスの差別化に繋がらない機能 • 認証 • APIスロットリング Serverless
  17. 31 SPA on s3/CloudFront • ウェブサーバーからの開放 API Gateway + Lambda

    + DynamoDB • 業務APIの高速開発 Cognito • 認証機構が不要 s3 presigned URL • ファイルのアップロードが簡単 学習・推論データのアップロード
  18. 33 S3 events + Lambda • イベント駆動により常時起動のサーバーが不要 • 拡張性が容易 SQS

    • 疎結合にし後続処理を分離 • 障害影響の分離 • 負荷の分散 イベント駆動アンチウィルス&キューイング
  19. 35 さまざまなワークロード • AWS Batch(GPU job)で対応 • ECSに比べて抽象度が高い • キューに応じてスケーリング可能

    課題 • AWS Batchの起動・停止オーバーヘッド • 今後はワークロードの差による効率化を検討 • Step Functionsによるワークフロー管理 学習・推論のAI処理
  20. 38 • AWS が設計開発した高機能の機械学習推論 チップである AWS Inferentia チップを搭載 • neuronSDKの使用が必要

    Inf1インスタンスとは インスタンスサイズ vCPU メモリ (GiB) インスタンススト レージ Inferentia チップ Inferentia チッ プ間相互接続 ネットワーク帯域 幅 (Gbps) EBS 帯域幅 (Gbps) オンデマンドの料 金 1 年スタンダード リザーブドインス タンス 3 年スタンダード リザーブドインス タンス inf1.xlarge 4 8 EBS のみ 1 該当なし 最大 25 最大 4.75 0.228 USD/時間 0.137 USD/時間 0.101 USD/時間 inf1.2xlarge 8 16 EBS のみ 1 該当なし 最大 25 最大 4.75 0.362 USD/時間 0.217 USD/時間 0.161 USD/時間 inf1.6xlarge 24 48 EBS のみ 4 有 25 4.75 1.180 USD/時間 0.709 USD/時間 0.525 USD/時間 inf1.24xlarge 96 192 EBS のみ 16 有 100 19 4.721 USD/時間 2.835 USD/時間 2.099 USD/時間
  21. 44 Benchmark Baseline Instance type chip Inferrence time (s) Throughput

    (q/s) Cost (usd/hr) m5a.2xlarge cpu 749.287 2.562 0.448 g4dn.2xlarge gpu 235.825 8.1416 1.015 ・推論データ量(質問数):1920 ・回答候補数:63 ・推論回数(質問数 x 回答候補数):120,960 モデル:質疑応答 (Question Answering)
  22. 47 現在のNeuron SDKのMaxPool2Dでは 4Dのinput tensor以外は未実装。 AWSに相談し、以下で対応 tensor = tensor[None,:,:,:] tensor

    = self.pooling(tensor) tensor = torch.squeeze(tensor, dim=0) ※今後、Neuron SDKのアップデートで改善予定とのフィードバックあり モデル:質疑応答 (Question Answering)
  23. 48 inf1.xlarge initial performance Instance type chip Inferrence time (s)

    Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.1416 1.015 288.744 Inf1.xlarge inf1 471.343 4.073 0.308 476.064 gpuより遅いけど、コスパは良い。。? モデル:質疑応答 (Question Answering)
  24. 53 inf1.xlarge performance パフォーマンス向上!コスト効率はcore数に比例 gpuと比較して ・約2倍の高速化 ・3倍のコストダウン Instance type chip

    cores Inferrence time (s) Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.141 1.015 288.744 Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064 Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714 モデル:質疑応答 (Question Answering)
  25. 55 inf1.6xlarge 4 chips x 4 cores 改修後、4chip x 4

    coreのフル活用 モデル:質疑応答 (Question Answering)
  26. 56 他のinf1 typeのベンチマーク比較表 Instance type chip Inferrence time (s) Throughput

    (q/s) Cost (usd/hr) m5a.2xlarge cpu 749.287 2.562 0.448 g4dn.2xlarge gpu 235.825 8.1416 1.015 Inf1.xlarge inf1 471.343 4.073 0.308 Inf1.xlarge inf1 119.958 16.005 0.308 Inf1.2xlarge inf1 Inf1.2xlarge inf1 Inf1.6xlarge inf1 Inf1.6xlarge inf1 Instance type chip cores Inferrence time (s) Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.141 1.015 288.744 Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064 Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714 Inf1.2xlarge inf1 1 471.343 4.057 0.489 298.674 Inf1.2xlarge inf1 4 119.487 16.068 0.489 1182.92 Inf1.6xlarge inf1 1 472.809 4.060 1.695 86.230 Inf1.6xlarge inf1 16 30.499 62.951 1.695 1337.012 モデル:質疑応答 (Question Answering)
  27. 58 Conclusion Performance & Cost • gpuと比較して、性能・コスト面において優秀 Ease of Implementation

    • Neuron SDKの組み込み・検証で1週間ほど Future Expectations • 今後、他のモデルで展開していきたい • 推論のみならず、学習用のTraniumの活用も視 野に入れ検証していきたい