動画データのポテンシャルを引き出す！ Databricks と AI活用への奮闘記（現在進行形）

「第2回 Youは何しにDatabricksへ！？」でお話いただいたブイキューブ様の資料です

Transcript

1. © V-cube, Inc. All Rights Reserved. ⾮構造化データのポテンシャルを引き出す！ Databricks と AI活⽤への奮闘記（現在進⾏形）
2. © V-cube, Inc. All Rights Reserved. • 名前： 花輪 俊⾏ • 所属：株式会社ブイキューブ CDO (Data) • 職務経歴： 製造業向けITコンサル/SIer 企業 ( 2004 - 2009 ) プログラマー(Java/Oracle)、SE / PjM 株式会社ブイキューブ (2009 - ) ⾃社パッケージ開発導⼊の SE / PjM / PreSales ⾃社SaaS製品の PdM 海外案件担当 社内会計システムの導⼊ ⾃社データを活⽤したサービス開発‧データ基盤構築 2 ⾃⼰紹介
3. © V-cube, Inc. All Rights Reserved. 3 00 当社におけるデータ活⽤の事例
4. © V-cube, Inc. All Rights Reserved. 当社におけるデータ活⽤の事例 4 CONFIDENTIAL 2．エンタープライズDX事業 1．イベントDX事業 3．サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構
5. © V-cube, Inc. All Rights Reserved. 1．会社紹介 5 CONFIDENTIAL 2．エンタープライズDX事業 1．イベントDX事業 3．サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構 オンラインイベントの 出演者‧参加者の振る舞いを データ化‧分析し、 リアルイベントもしくは それ以上の インサイトを引き出す
6. © V-cube, Inc. All Rights Reserved. 1．会社紹介 6 CONFIDENTIAL 2．エンタープライズDX事業 1．イベントDX事業 3．サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構 商談を録⾳してテキストデータ化 案件や顧客情報などの メタデータと関連付けて 商談分析や市場の課題抽出‧予測 個室ブースに⼈感センサーを 取り付け、利⽤状況の把握 稼働率の分析や予測
7. © V-cube, Inc. All Rights Reserved. 7 本⽇のアジェンダ 1 データ基盤の「理想」と「現実」 2 Databricksとの出会い 3 Lakehouseで動画‧⾳声‧PDFを宝の⼭に変える 4 これからやりたいこと
8. © V-cube, Inc. All Rights Reserved. 8 01 1. データ基盤の「理想」と「現実」
9. © V-cube, Inc. All Rights Reserved. 9 それまでのデータ基盤 BigQuery にプロダクトのデータを集める形のデータ基盤 😅 実態はプロダクトDBのバックアップ置き場に近かった - 正式的な管理者はおらずデータ基盤とはいえない状態 - 内部的な ETL は揃っておらず、必要に応じて要対応 - データ同期もデータソース側任せで、⼀貫性がなかった 👍 PoC や検討をするには事⾜りていた - データ量はそれほど多くないので調査や実験もしやすかった - 実業務に組み込まれていないので⾃由に扱えた - Google Colab 、 Google Drive (Spreadsheet) との連携が容易
10. © V-cube, Inc. All Rights Reserved. 10 基盤として整備したいと思ったときに訪れた3つの壁 DWH どうする？ ETL どうする？ エンジニア どうする？ • BigQuery か Redshift か • スモールスタートにはランニングコストが重たい • ⾮構造化データの扱いどうしよう • ETL ツールはどれがいい？ • 何を選んだらいいかの調査が⼤変 • 学習コストも別途かかりそう • プロダクト開発チームやインフラチームは既存業務で忙しい • 特に社内にノウハウや知⾒があるわけでもなく調査から • 他チームに頼らずに機敏に動けるようにしたい
11. © V-cube, Inc. All Rights Reserved. 11 02 2. Databricksとの出会い
12. © V-cube, Inc. All Rights Reserved. 12 Databricks を知る これまでのご縁で Databricks を知る → 悩んでいたことにドンピシャなソリューションでは？
13. © V-cube, Inc. All Rights Reserved. 13 Databricks を知る DWH どうする？ ETL どうする？ エンジニア どうする？ レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
14. © V-cube, Inc. All Rights Reserved. 14 Databricks を知る DWH どうする？ ETL どうする？ エンジニア どうする？ レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
15. © V-cube, Inc. All Rights Reserved. 15 Databricks を知る DWH どうする？ ETL どうする？ エンジニア どうする？ レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
16. © V-cube, Inc. All Rights Reserved. 16 Databricks を知る DWH どうする？ ETL どうする？ エンジニア どうする？ レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い 本当かな‧‧‧試してみよう！
17. © V-cube, Inc. All Rights Reserved. 17 導⼊へ 〜⼿探りの第⼀歩〜 • 最初は概念理解に少し⼾惑ったが、構築⾃体はスムーズ • 半信半疑で進めたら、「それっぽい」形がすぐに完成 • 既存のBigQuery連携フローの向き先を Databricks に変えるだけで 始められたのが⼤きかった 意外と簡単にそれらしきものができた
18. © V-cube, Inc. All Rights Reserved. 18 03 3. Lakehouseで⾮構造化データから 価値あるデータを取り出す
19. © V-cube, Inc. All Rights Reserved. 19 ⾮構造化データ活⽤の取組 動画やPDFなど、これまで分析が難しかったデータをどう活⽤しようとしているか、その事例をご紹介します ⽬的: どの講演が、なぜ盛り上がったのか？をデータつかって可視化したい
20. © V-cube, Inc. All Rights Reserved. 20 ⽂字起しテキストを多段階でデータに変えていく 動画ファイル ⾳声ファイル ⽂字起し ai_query 特定の⽬的で サマリ‧ トピック抽出 ai_query 構造化 （JSON） Databricks 内部実⾏ 過去分のデータが1万以上あったため、 SQL⼀括実⾏ができることで⼤幅な⼿間削減 Databricks 導⼊前からあったデータ 19:00:02 みなさんこんにちは 19:00:05 本⽇は◯◯先⽣の 19:01:12 今⽇取り上げるテーマは‧‧‧ ‧ ‧ ‧ ‧ 講演テーマ：〇〇製剤の効果について 演者：AAAA先⽣（司会）、BBBB先⽣（講師） テーマ分類：抗がん剤 タグ：講演会、抗がん剤、座談会 トピック：  19:00-19:10 イントロ。演者紹介  19:10-19:30 〇〇製剤をつかった感想 { "講演テーマ": "〇〇製剤の効果について", "テーマ分類": "抗がん剤", "タグ": [ "講演会", "抗がん剤", "座談会" ],
21. © V-cube, Inc. All Rights Reserved. 21 過去に作られた案内状（PDFやPPT）に書かれている情報をデータ化 OCR 案内状 ファイル ⽂字起し ai_query 特定の⽬的で サマリ‧ トピック抽出 ai_query 構造化 （JSON） Databricks 内部実⾏ 過去分のデータが1万以上あったため、 SQL⼀括実⾏ができることで⼤幅な⼿間削減 Databricks 導⼊前からあったデータ □□□□主催 第◯回 XXXXXXXセミナー 00:00〜00:00 テーマ「◯◯◯◯◯◯◯◯◯◯◯」 主催企業：□□□□ 共催企業：株式会社△△△、株式会社□□□ 開催⽇： 開催時間：00:00〜00:00 講演会タイトル：第◯回 XXXXXXX セミナー 演者：⼭⽥ 太郎、⽥中 花⼦、⽊村 次郎 演者の所属：xxxx病院、yyyy病院、zzzz病院 { "主催企業": "□□□□", "共催企業": [ "株式会社△△△", "株式会社□□□"  ], "演者": [ "⼭⽥ 太郎", "⽥中 花⼦", "⽊村 次郎" ], ai_query さらに 使えるよう データマート化
22. © V-cube, Inc. All Rights Reserved. 22 過去の⾮構造化データを多段階でAIで処理してデータマートにしていく ⽬的: どの講演が、なぜ盛り上がったのか？をデータで可視化したい 1 動画 → ⽂字起こし (with GenAI): 動画から⾳声を抽出し、で⽂字起こし＆サマライズ 2 案内状PDF → OCR & AI: フライヤーから登壇者やキーワードをAIで抽出‧JSON化 3 表情解析: 参加者の表情をスコア化 4 ⾃動化: この⼀連の処理をDatabricksの ai_query を使ってSQLライクに実⾏ 他にも同様な取組はあるが、考え⽅は同じ。 新しく取り始めるデータについては最初からワークフローとして流していくが、 過去データを⼀括で⾏う場合などに特に便利だった
23. © V-cube, Inc. All Rights Reserved. 23 04 4. まとめと未来
24. © V-cube, Inc. All Rights Reserved. 24 １年弱の取組を振り返って Databricks でよかったところ • 専⾨家でない3〜5名の少⼈数チーム でもここまでできた • PoCやスモールスタートには⾮常に やりやすい • Databricks の概念に慣れるのに少し ⼿間取ったが、その後はPythonなど ⼀般的な技術でやれる ⾃社データを掘り起こしての感想 • 各社が眠らせている⾮構造化データ は宝の⼭になるかもしれない • インフラやプロダクト側の影響を気 にせず「やりたい分析」に集中でき る環境は⼤事 • 今後のデータはレイクハウスをベー スにしてあらかじめデータ化してい くことを考えたい
25. © V-cube, Inc. All Rights Reserved. 25 これからの挑戦 (Next Steps) データ基盤の本格化 データガバナンス強化と 増えてきたカタログの効率的な運⽤ データ活⽤の深化 全社的にデータ⺠主化を推進し 価値あるデータを提供し、 さらに多様な社内データを取り込む
26. © V-cube, Inc. All Rights Reserved. 26