Share
Embed
Transcript
27 slides
-
About Me 2 Takeaki Imai @imaimai0 大学・大学院: 航空宇宙・マルチエージェントシステム・渋滞学 NTT研究所: 機械学習・データ分析
i Smart Technologies: 製造業向けIoTサービスを開発 CADDi: AI Lab立ち上げ、DRAWERのTechnical PdM Carrer: Hobby: テーマは「技術で文化を創る」 サウナ・家造り・茶道 計らずも技術と距離を置いて生きています -
2つの事業で、サプライチェーン変革を支援 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー ・調達生産機能の外部集約化
・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う technology knowledge -
MANUFACTURING 調達・製造のワンストップパートナー 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー
・調達生産機能の外部集約化 ・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS technology knowledge -
CADDi DRAWER 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー
・調達生産機能の外部集約化 ・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS technology knowledge -
DXの第一歩としてのCADDi DRAWER 設計 調達 製造・施工 検査・納品 販売 サービス 図面のデータアセット化 部署問わずアクセスしたい過去図面に即座にアクセスできる、検索性が高い、形式知化さ
れている、将来の設計・調達・製造・保守等に「価値を生む」状態へ -
CADDi Technology History 3DCADからの 自動見積りで事業スタート 調達の課題に入り込むと、 やり取りがほぼ2Dだった →2Dにシフトチェンジ
図面の管理・解析 SCM 見積自動計算 3DCAD解析 2D図面の活用を起点に SaaS立ち上げ展開 類似検索 図面解析 サービスアプリケーション SaaSを起点に3D+αへの再挑戦 プラットフォームからデータの プロトコル化 -
CADDi × ML活用 CADDi AI Lab CADDi MANU Tech Team
MANU DRAWER CADDi DRAWER Tech ML/Algo Team 技術コアとして、DRAWERの下で素早く検証・価値提供 3Dなどの構造化データが増えていく中で、 ML/Algoチームの融合 CADDi DRAWER Tech Team MANU DRAWER CADDi MANU Tech Team CADDi DRAWER App Team 検証から価値提供まで遠い 縦にチームをつなぐことで質とス ピードを高める -
データ収集・課題定義 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 DRAWER: 図面データをコアとしたナレッ
ジマネジメントプラットフォー ム 図面 etc.. 品質 設計 見積 受注 発注 図面を 貯める 検索する 情報を 抜きだす 情報を 関連づける 行動する 分析する DRAWERでデータを貯め顧客 ヒアリングなどを通して何を MLで解くか決める -
プロジェクト管理 物流拠点などの 管理担当を登用 →QCDの管理体制が整う Annotation Ops データ収集 課題定義 アノテーショ ン
モデリング 運用 再学習 • 製造業ドメインに強いメンバ / プロジェクト管理が得意なメンバと共にデータ品質を仕組みで作り込んでい くことで、継続的にMLモデルの品質を高めつつ、 MLEがより高度なタスクに集中できる環境を作る ドメインナレッジ 社内で図面の 見積業務担当を登用 →データ品質の向上につながる モデリング 属人性を排除する仕組みを開発中 →基本タスクの属人性の解消、より 高度なタスクにフォーカス Biz Tech -
アノテーションツールの選定 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 考慮したポイント •
MLタスクの網羅性 • データソースの柔軟性(ローカル/GCP/AWS連携) • アノテーションラベル等タスク設定のしやすさ • ショートカットの有無 • UIの洗練 • 複数人同時処理 • 進捗確認のしやすさ etc… -
仕組みでデータのQCDを作る データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 Quality •
詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ • オンボーディングによる品質のボトムラインを担保 • ダブルチェックによる人為ミスの低減 Cost Delivery • 詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ • オンボーディングによる品質のボトムラインを担保 • ダブルチェックによる人為ミスの低減 • IoU閾値/ピクセル閾値:明確な基準の提示 • 合格スコア:フォローアップ効率化 • 目標時間:ショートカット活用促進 オンボ1回目 合格率 50%(10/20人) オンボ2回目 合格率 80%(16/20人) オンボ3回目 合格率 100%(20/20人) *社内アンケートにより 15人/17人がオンボの品質向上効果 を実感 https://fastlabel.notion.site/4db080decbcd4f08bcdd826389868e16 アノテーション ダブルチェック 最終抜き取りチェック チェックプロセス 84.1% pass 99.8%pass • ダブルチェックではリーダーが持ち回りで品質 チェック。指導や質問の醸成も目的 • 抜き取りチェックではマネージャーがチェック。最 終的な品質責任を追う。社内 SLOは99.5%に設 定 -
仕組みでデータのQCDを作る データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 OPS リソース
時期 • OPSの繁閑差を利用してアノテーションをブースト • 質問対応など、プロジェクト効率化の徹底 通常オペレーション アノテーション業務 Cost Quality Delivery 質問解消プロセス/権限委譲による対応工数/単価の低減 ・メンバ→リーダー同接質問 ・マニュアル解決 ・リーダー→PM質問 ・FAQ/変更点のナレッジ化 →マニュアル作成byリーダー ・PM→MLE質問/方針決め -
仕組みでデータのQCDを作る データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 Delivery •
アノテーション専属工数の確保によるボトムライン確保 • プロジェクト予実管理 Delivery Quality Cost リソース調整 実測値計測 予実管理 ・2事業部/3部門/4業務で調整 ・ボトムライン業務量の合意 ・セキュリティ管理を徹底 ・スプレッドシートにて管理 ・業務単位で開始/中断/完了を打刻 ・今後作業ツールと一体化したい ・スプレッドシートにて集計 ・遅延分は再計画(シフト/作業量調整) ・前例比較し異常があれば検証 /修正 -
モデリングの属人性を下げる取り組み データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 • 学習までのフローの基盤を整備
◦ データ収集 / アノテーション / 評価 / デプロイ etc… ◦ モデリングに関しても分類 / 検出など類似タスクに置いてベンチマークとなるモデルと評価指標を用 意し、横展開 ML未経験者がモデル作成にチャレンジし、 2ヶ月でデプロイまで達成。要因 • kaggle体験会による画像認識タスクのオンボーディングと kaggle masterのペアプロを通したメンタリング • モデル作成からWebAPI化する仕組みや手順がすでに確立していた • (未経験者だけど単純に本人が優秀だった ) -
運用: モニタリングでの品質管理 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 モニタリング項目
• 品質やコストのモニタリング ◦ サービスの中で収集されたデータをアノテーションに回すことで精度測定 ◦ 間違っているものをアノテーションできるようにCSチームと連携 ◦ ダッシュボードで推論コストを管理 • 価値のモニタリング ◦ 認識結果がどのくらい使われたかも保存されている。ROIの検証 -
運用: Bizとの連携、フィードバックサイクルを 回す仕組みの構築 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習
• プロダクト利用の中で間違っている箇所をレイズし、そのまま要アノテーションデータとして登録される仕組 み「Pitman」を社内で構築。Customer Successが拾った顧客要望をすぐにフィードバックできるように Pitman annotation tool CS Feedback -
ドリフトを検知する仕組みづくり データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 板金のみ 旋盤も
含まれる ように データドリフトの検知や、再 学習の基盤を構築していく -
データ基盤と再学習基盤 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 下記状態を目指してデータ管理基盤・再学習基盤を構築中 •
アノテーション結果がシームレスにデータ基盤につながっている • データ基盤には、タグが付けられていてバージョン管理ができる • テストデータセットによるテスト→デプロイ アノテーション データストア タグ付き データセット v1 v2 v3… 再学習 モデル評価 デプロイ 基準を満たなければデ プロイされない