Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用促進のためのデータ分析基盤の進化
Search
Takuma Kouno
November 10, 2024
Technology
2
2k
データ活用促進のためのデータ分析基盤の進化
Takuma Kouno
November 10, 2024
Tweet
Share
More Decks by Takuma Kouno
See All by Takuma Kouno
Data Reliabilityを 最小工数で実現するための データ基盤
takumakouno
0
16
位置情報データをコスト最適化しつつ 分析に活かすための データ管理と運用方法について
takumakouno
0
13
データの"守り"を固めた2022
takumakouno
0
1.2k
Other Decks in Technology
See All in Technology
MySQL 8.0 から PostgreSQL 16 への移行と RLS 導入までの道のりと学び
baseballyama
0
710
B11-SharePoint サイトのストレージ管理を考えよう
maekawa123
0
130
プロセス改善とE2E自動テストによる、プロダクトの品質向上事例
tomasagi
1
2.8k
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
1
6.7k
GeminiとUnityで実現するインタラクティブアート
hokkey621
0
540
データカタログを自作したけど 運用しなかった話@Findy Lunch LT「データカタログ 事例から学ぶメタデータ管理の実態」
ryo_suzuki
2
640
Explain EXPLAIN
keiko713
9
2.3k
ゆるSRE勉強会 #8 組織的にSREが始まる中で意識したこと
abnoumaru
2
990
品質管理チームのEMとして大事にしていること / QA EM
nihonbuson
0
420
LangChainとSupabaseを活用して、RAGを実装してみた
atsushii
0
140
データ基盤の負債解消のためのリプレイス
livesense
PRO
0
150
高品質と高スピードを両立させるソフトウェアQA/Software QA that Supports Agility and Quality
goyoki
8
1.2k
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
1
74
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Visualization
eitanlees
145
15k
Bash Introduction
62gerente
608
210k
Code Review Best Practice
trishagee
64
17k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
The Cost Of JavaScript in 2023
addyosmani
45
6.9k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Navigating Team Friction
lara
183
15k
Transcript
機密・専有情報 株式会社Luupによる個別の明示的な承諾を得ることなく、この資料を使用することを固く禁じます。 データ活用促進のためのデータ分析基 盤の進化 株式会社Luup 河野匠真 2024-11-12
Luup, Inc. - Confidential and Proprietary 2 Speaker COO室 Data
Team Data Engineer 河野 匠真 • 2022年 Luupに入社 • データ基盤の構築から運用、整備 • インフラ管理、データマネジメント、データ 活用まで幅広く担当
概要 Company
Luup, Inc. - Confidential and Proprietary 4 提供サービス「 LUUP」 アプリ内で好きな電動マイクロモビリティを選択し、
好きなポートで乗り降りできる シェアサービス 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1 STEP2 STEP3 STEP4 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。
Luup, Inc. - Confidential and Proprietary 5 現在は2種類の車両を提供しており、将来的にはユニバーサルな車両を構想 研究開発中の車両イメージ 全年齢に対応した、安心・安全でユニバーサルな車両
電動キックボード (特定小型原付) 電動アシスト自転車 超少子高齢化の中、ワンマイルの移動手段が 不十分であることによる買い物難民の増加や 高齢者の自動車事故が課題となっていく中で このワンマイルを結ぶための取組みは不可欠です。 全世代が安心・安全に使えるモビリティの 研究開発を進めていきます Luupが目指す将来像 ※開発イメージ 多様なニーズに応えるべく、 電動アシスト自転車と電動キックボードを 用いてサービス提供中
Luup, Inc. - Confidential and Proprietary 6 展開エリア 全国ポート数 10,000
箇所以上 展開都市 東京 横浜 神戸 京都 大阪 名古屋 宇都宮 東京 大阪 横浜 京都 名古屋 神戸 宇都宮 ※2024年11月時点 広島 仙台 福岡 仙台 高松 高松 北九州
データの種類 Data Type
Luup, Inc. - Confidential and Proprietary 8 データの種類 ユーザー向けアプリ
• ユーザー • 位置情報 • 走行(位置情報) • 決済 • ポート • 車両 • 返却車両画像 etc 車両 • 位置情報 • 乗車速度 • 制限速度 • PDOP(位置情報精度低下率) • HDOP(水平精度低下率) • VDOP(垂直精度低下率) • 移動距離 • バッテリー残量 • 転倒フラグ • 歩道走行モードフラグ etc • オペレーター • バッテリー交換 • 車両回収 • 操作ログ • お問い合わせ etc 社内用アプリ イメージ図
Luup, Inc. - Confidential and Proprietary 9 データの活用例 各種メトリクスの集計、分析 •
事業KPIレポート等の定常的メトリクスレポートの作成 • 自治体や企業との連携 • ライド経路や車両位置情報の把握と分析 目的 事例 アプリの運用、改善、機能開発 • 需給予測 • オペレーションの最適化 • HW、IoTモジュール故障率の改善 • 新機能の開発 HW、IoTモジュールの改善
2024/11時点での データ基盤について Data Infrastructure
データ基盤概要図
現状のデータ基盤のいいところ • データの異常が起きた際の即時把握、即時対応による被害拡大防止、ビジネス側とのデータエ ラーコミュニケーションの削減 • データカタログにより、どこにどのデータがあるかの確認コミュニケーションの削減 • エラー対応削減による新規開発の工数増加 • Airflow
x dbtによる開発コストの削減、 Developer Experienceの向上 ◦ Airflowはworkflowとしての役割のみ ◦ Modelingはdbtに依存させる データエンジニアがデータ基盤を継続的に運用、改善していくコスト (工数)が削減できてお り、より高速に信頼性の高いデータ提供を実現している
課題 Issue
課題 データ活用面から見ると、、、 データ抽出に SQLが必須である
課題 RedashやDekart(※)は基本、SQLを書いてデータを抽出する ※Dekart=map上でデータを可視化するOSS https://dekart.xyz/ その他Redashの現状の課題 • BigQueryの全てのデータセットにアクセスできてしまい、 Rawデータから参 照しているクエリも多数存在しており、野良クエリも多く、どの Query、
Dashboardが正しいものなのかわからない • Semantic Layer Toolとの互換性がない • インフラ管理ができておらず、 OOMが頻発している • 位置情報データの可視化ができない
対応方法 How to respond
対応方法 新規BIツール「Superset」の導入
対応方法 • SQLに依存しない GUIでのデータ抽出 • Semantic Layer Toolとの互換性 • 位置情報データの可視化とリッチ性
効果: データ活用の促進 + データ基盤の重要性増加 Superset: https://superset.apache.org/
データ基盤の進化 Evolution
データ基盤の進化 • テーブルが Dimensions, Metrics構造のようになっていないと 集計の恩恵を受けられず、扱いづらい • データ型に Array等を使うと SupersetのGUIでは認識してくれな
いため、型を SupersetのGUIで可視化できる形に整える必要が ある • SQLでの抽出も可能なので、野良クエリ、ミスクエリは一定存在 する Superset導入により、 SQLに依存しない GUIでのデータ抽出が可能になったが、、、
データ基盤の進化 • Dimensional Modelingの採用 ◦ SupersetのGUIで表現する場合に BestなModelingであり、dbtとの親和性も高い • Lake, Warehouse,
Martの3層構造の分解 ◦ Dimensional Modelingと一緒に実施 ◦ 現状ある程度の定義は決めて運用しているが、活用者や活用方法が増えるにつれて 3層のルールでは限界 • Semantic Layer Toolの導入 ◦ Supersetと互換性のある cube.jsを導入予定 ◦ 将来的に全てのデータは cube.jsを通して取得されるようにし、 BI領域でのデータの整合性を担保 ※以下は、現在実施検討中のものです
まとめ Result
まとめ 現状のデータ基盤のいいところ • 高速に信頼性の高いデータを提供できる • Developer Experienceが高い • 異常データの即時把握、即時対応による被害拡大防止ができている 現状のデータ基盤の改善点
• 活用面から見るとまだまだ課題が多い 便利なOSSの導入や自社開発も視野に入れ、活用促進によりフォーカスしてデータ基盤を進化させ ていく必要がある
最後に Final
最後に アドベントカレンダー実施中です! 本日お話しした「 Superset」導入の件について、記事を出しています。 「Superset」の可視化の豊富さやインフラ構築周りについても詳しく記載しておりますので、よかった らみてください。 https://zenn.dev/luup_developers/ar ticles/data-kouno-20241104
https://recruit.luup.sc/ ご清聴ありがとうございました アナリスト / データエンジニア 募集中です 詳細は採用ページをご覧ください
None