Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
動画データのポテンシャルを引き出す! Databricks と AI活用への奮闘記(現在進行形)
Search
Databricks Japan
September 30, 2025
Technology
0
120
動画データのポテンシャルを引き出す! Databricks と AI活用への奮闘記(現在進行形)
「第2回 Youは何しにDatabricksへ!?」でお話いただいたブイキューブ様の資料です
Databricks Japan
September 30, 2025
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
RedshiftからDatabricksに引っ越してみたら、 想像以上に良かった話
databricksjapan
0
110
Azure SynapseからAzure Databricksへ 移行してわかった新時代のコスト問題!?
databricksjapan
0
100
Databricks連携で実現する DWHモダナイゼーション
databricksjapan
0
140
[2025年7月版] AI/BI 最新機能アップデート / AIBI update on July
databricksjapan
0
150
AIもデータも、もっと身近に。Databricksで広がる金融業界の可能性 / FDUA-Study
databricksjapan
0
240
OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg
databricksjapan
0
260
[2025年5月版] Azure Databricks最新機能アップデート / 202505 Azure Databricks Latest Updates
databricksjapan
0
280
DatabricksとPower BIの連携メリット / Databricks PowerBI Integration Merits
databricksjapan
1
360
[2025年4月版] Databricks Academy ラボ環境 利用開始手順 / Databricks Academy Labs Onboarding
databricksjapan
2
570
Other Decks in Technology
See All in Technology
AIを導⼊しても、 開発⽣産性は"爆増"していない なぜ?
kinosuke01
4
3.6k
2025-09-25 SRETT #13 ConftestによるTerraformのPolicy as Codeを試してみる
masasuzu
0
130
What is BigQuery?
aizack_harks
0
110
日経が挑戦するデータ民主化 ~ セルフサービス基盤がもたらす利点と苦悩~/nikkei-tech-talk-37
nikkei_engineer_recruiting
0
210
いまさら聞けない ABテスト入門
skmr2348
0
170
[2025-09-30] Databricks Genie を利用した分析基盤とデータモデリングの IVRy の現在地
wxyzzz
0
390
今日から始めるpprof / Pprof workshop for beginners
ymotongpoo
6
770
GA technologiesでのAI-Readyの取り組み@DataOps Night
yuto16
0
220
AIコーディングとエンジニアリングの現在地 / A Snapshot of AI Coding and Engineering(Sept. 2025)
ar_tama
0
160
PythonとLLMで挑む、 4コマ漫画の構造化データ化
esuji5
0
120
Streamlit は社内ツールだけじゃない!PoC の速さで実現する'商用品質'の分析 SaaS アーキテクチャ
kdash
2
1k
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
180
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Agile that works and the tools we love
rasmusluckow
330
21k
Being A Developer After 40
akosma
90
590k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
51k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Context Engineering - Making Every Token Count
addyosmani
3
130
The Pragmatic Product Professional
lauravandoore
36
6.9k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Transcript
© V-cube, Inc. All Rights Reserved. ⾮構造化データのポテンシャルを引き出す! Databricks と AI活⽤への奮闘記(現在進⾏形)
© V-cube, Inc. All Rights Reserved. • 名前: 花輪 俊⾏
• 所属:株式会社ブイキューブ CDO (Data) • 職務経歴: 製造業向けITコンサル/SIer 企業 ( 2004 - 2009 ) プログラマー(Java/Oracle)、SE / PjM 株式会社ブイキューブ (2009 - ) ⾃社パッケージ開発導⼊の SE / PjM / PreSales ⾃社SaaS製品の PdM 海外案件担当 社内会計システムの導⼊ ⾃社データを活⽤したサービス開発‧データ基盤構築 2 ⾃⼰紹介
© V-cube, Inc. All Rights Reserved. 3 00 当社におけるデータ活⽤の事例
© V-cube, Inc. All Rights Reserved. 当社におけるデータ活⽤の事例 4 CONFIDENTIAL 2.エンタープライズDX事業
1.イベントDX事業 3.サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構
© V-cube, Inc. All Rights Reserved. 1.会社紹介 5 CONFIDENTIAL 2.エンタープライズDX事業
1.イベントDX事業 3.サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構 オンラインイベントの 出演者‧参加者の振る舞いを データ化‧分析し、 リアルイベントもしくは それ以上の インサイトを引き出す
© V-cube, Inc. All Rights Reserved. 1.会社紹介 6 CONFIDENTIAL 2.エンタープライズDX事業
1.イベントDX事業 3.サードプレイスDX事業 ‧製薬講演会 ‧toB向け販促イベント ‧株主総会/決算説明会 ‧就職/採⽤説明会 ‧表彰式/内定式/⼊社式 防⾳個室ブース設置台数シェア No.1 !!※ 参加者の⼼を動かす イベントプランニング イベントは視聴者の意識を変える“きっかけ”となる最初のプロセスです。 ブイキューブは、企業のさまざまなビジネスイベントに対して、 企画‧運営‧分析‧レポート‧改善活動を総合⽀援します。 ビジネスイベントのコンサルタントとして、⼤⼿企業を中⼼にご⽀持をい ただいています。 事業特徴 私たちは、近年利⽤が広がっている個室ワークブースのパイオニアです。 現在では、その利⽤分析とともにオフィス環境改善コンサル‧マーケティング ⽀援などを⼿がけています。 これまで累計30,000台のテレキューブをオフィスや駅、空港などの 公共空間に設置し、業界圧倒的シェアNo.1を獲得しています。 事業特徴 Zoom販売実績3,400社 !! Zoomなどの聞き馴染みのあるコミュニケーションツールを提供するとともに それらの利⽤ログからさまざまな職種の業務パフォーマンス分析を⾏い、 個別化された育成プログラムの設計、提供をしております。 ビジネスコミュニケーションのコンサルタントとして急成⻑領域です。 事業特徴 ※2024年10⽉期_指定領域における市場調査 調査機関:⽇本マーケティングリサーチ機構 商談を録⾳してテキストデータ化 案件や顧客情報などの メタデータと関連付けて 商談分析や市場の課題抽出‧予測 個室ブースに⼈感センサーを 取り付け、利⽤状況の把握 稼働率の分析や予測
© V-cube, Inc. All Rights Reserved. 7 本⽇のアジェンダ 1 データ基盤の「理想」と「現実」
2 Databricksとの出会い 3 Lakehouseで動画‧⾳声‧PDFを宝の⼭に変える 4 これからやりたいこと
© V-cube, Inc. All Rights Reserved. 8 01 1. データ基盤の「理想」と「現実」
© V-cube, Inc. All Rights Reserved. 9 それまでのデータ基盤 BigQuery にプロダクトのデータを集める形のデータ基盤
😅 実態はプロダクトDBのバックアップ置き場に近かった - 正式的な管理者はおらずデータ基盤とはいえない状態 - 内部的な ETL は揃っておらず、必要に応じて要対応 - データ同期もデータソース側任せで、⼀貫性がなかった 👍 PoC や検討をするには事⾜りていた - データ量はそれほど多くないので調査や実験もしやすかった - 実業務に組み込まれていないので⾃由に扱えた - Google Colab 、 Google Drive (Spreadsheet) との連携が容易
© V-cube, Inc. All Rights Reserved. 10 基盤として整備したいと思ったときに訪れた3つの壁 DWH どうする?
ETL どうする? エンジニア どうする? • BigQuery か Redshift か • スモールスタートにはランニングコストが重たい • ⾮構造化データの扱いどうしよう • ETL ツールはどれがいい? • 何を選んだらいいかの調査が⼤変 • 学習コストも別途かかりそう • プロダクト開発チームやインフラチームは既存業務で忙しい • 特に社内にノウハウや知⾒があるわけでもなく調査から • 他チームに頼らずに機敏に動けるようにしたい
© V-cube, Inc. All Rights Reserved. 11 02 2. Databricksとの出会い
© V-cube, Inc. All Rights Reserved. 12 Databricks を知る これまでのご縁で
Databricks を知る → 悩んでいたことにドンピシャなソリューションでは?
© V-cube, Inc. All Rights Reserved. 13 Databricks を知る DWH
どうする? ETL どうする? エンジニア どうする? レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
© V-cube, Inc. All Rights Reserved. 14 Databricks を知る DWH
どうする? ETL どうする? エンジニア どうする? レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
© V-cube, Inc. All Rights Reserved. 15 Databricks を知る DWH
どうする? ETL どうする? エンジニア どうする? レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い
© V-cube, Inc. All Rights Reserved. 16 Databricks を知る DWH
どうする? ETL どうする? エンジニア どうする? レイクハウスで 構造化データと⾮構造化データを⼀元的に扱える ETL、DWH、分析、AIなどが 統合されたプラットフォーム フルマネージドなので データベース運⽤のエンジニア負担が低い 本当かな‧‧‧試してみよう!
© V-cube, Inc. All Rights Reserved. 17 導⼊へ 〜⼿探りの第⼀歩〜 •
最初は概念理解に少し⼾惑ったが、構築⾃体はスムーズ • 半信半疑で進めたら、「それっぽい」形がすぐに完成 • 既存のBigQuery連携フローの向き先を Databricks に変えるだけで 始められたのが⼤きかった 意外と簡単にそれらしきものができた
© V-cube, Inc. All Rights Reserved. 18 03 3. Lakehouseで⾮構造化データから
価値あるデータを取り出す
© V-cube, Inc. All Rights Reserved. 19 ⾮構造化データ活⽤の取組 動画やPDFなど、これまで分析が難しかったデータをどう活⽤しようとしているか、その事例をご紹介します ⽬的:
どの講演が、なぜ盛り上がったのか?をデータつかって可視化したい
© V-cube, Inc. All Rights Reserved. 20 ⽂字起しテキストを多段階でデータに変えていく 動画ファイル ⾳声ファイル
⽂字起し ai_query 特定の⽬的で サマリ‧ トピック抽出 ai_query 構造化 (JSON) Databricks 内部実⾏ 過去分のデータが1万以上あったため、 SQL⼀括実⾏ができることで⼤幅な⼿間削減 Databricks 導⼊前からあったデータ 19:00:02 みなさんこんにちは 19:00:05 本⽇は◯◯先⽣の 19:01:12 今⽇取り上げるテーマは‧‧‧ ‧ ‧ ‧ ‧ 講演テーマ:〇〇製剤の効果について 演者:AAAA先⽣(司会)、BBBB先⽣(講師) テーマ分類:抗がん剤 タグ:講演会、抗がん剤、座談会 トピック: 19:00-19:10 イントロ。演者紹介 19:10-19:30 〇〇製剤をつかった感想 { "講演テーマ": "〇〇製剤の効果について", "テーマ分類": "抗がん剤", "タグ": [ "講演会", "抗がん剤", "座談会" ],
© V-cube, Inc. All Rights Reserved. 21 過去に作られた案内状(PDFやPPT)に書かれている情報をデータ化 OCR 案内状
ファイル ⽂字起し ai_query 特定の⽬的で サマリ‧ トピック抽出 ai_query 構造化 (JSON) Databricks 内部実⾏ 過去分のデータが1万以上あったため、 SQL⼀括実⾏ができることで⼤幅な⼿間削減 Databricks 導⼊前からあったデータ □□□□主催 第◯回 XXXXXXXセミナー 00:00〜00:00 テーマ「◯◯◯◯◯◯◯◯◯◯◯」 主催企業:□□□□ 共催企業:株式会社△△△、株式会社□□□ 開催⽇: 開催時間:00:00〜00:00 講演会タイトル:第◯回 XXXXXXX セミナー 演者:⼭⽥ 太郎、⽥中 花⼦、⽊村 次郎 演者の所属:xxxx病院、yyyy病院、zzzz病院 { "主催企業": "□□□□", "共催企業": [ "株式会社△△△", "株式会社□□□" ], "演者": [ "⼭⽥ 太郎", "⽥中 花⼦", "⽊村 次郎" ], ai_query さらに 使えるよう データマート化
© V-cube, Inc. All Rights Reserved. 22 過去の⾮構造化データを多段階でAIで処理してデータマートにしていく ⽬的: どの講演が、なぜ盛り上がったのか?をデータで可視化したい
1 動画 → ⽂字起こし (with GenAI): 動画から⾳声を抽出し、で⽂字起こし&サマライズ 2 案内状PDF → OCR & AI: フライヤーから登壇者やキーワードをAIで抽出‧JSON化 3 表情解析: 参加者の表情をスコア化 4 ⾃動化: この⼀連の処理をDatabricksの ai_query を使ってSQLライクに実⾏ 他にも同様な取組はあるが、考え⽅は同じ。 新しく取り始めるデータについては最初からワークフローとして流していくが、 過去データを⼀括で⾏う場合などに特に便利だった
© V-cube, Inc. All Rights Reserved. 23 04 4. まとめと未来
© V-cube, Inc. All Rights Reserved. 24 1年弱の取組を振り返って Databricks でよかったところ
• 専⾨家でない3〜5名の少⼈数チーム でもここまでできた • PoCやスモールスタートには⾮常に やりやすい • Databricks の概念に慣れるのに少し ⼿間取ったが、その後はPythonなど ⼀般的な技術でやれる ⾃社データを掘り起こしての感想 • 各社が眠らせている⾮構造化データ は宝の⼭になるかもしれない • インフラやプロダクト側の影響を気 にせず「やりたい分析」に集中でき る環境は⼤事 • 今後のデータはレイクハウスをベー スにしてあらかじめデータ化してい くことを考えたい
© V-cube, Inc. All Rights Reserved. 25 これからの挑戦 (Next Steps)
データ基盤の本格化 データガバナンス強化と 増えてきたカタログの効率的な運⽤ データ活⽤の深化 全社的にデータ⺠主化を推進し 価値あるデータを提供し、 さらに多様な社内データを取り込む
© V-cube, Inc. All Rights Reserved. 26