Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

データ活用促進のためのデータ分析基盤の進化

 データ活用促進のためのデータ分析基盤の進化

Takuma Kouno

November 10, 2024
Tweet

More Decks by Takuma Kouno

Other Decks in Technology

Transcript

  1. Luup, Inc. - Confidential and Proprietary 2 Speaker COO室 Data

    Team Data Engineer 河野 匠真 • 2022年 Luupに入社 • データ基盤の構築から運用、整備 • インフラ管理、データマネジメント、データ 活用まで幅広く担当
  2. Luup, Inc. - Confidential and Proprietary 4 提供サービス「 LUUP」 アプリ内で好きな電動マイクロモビリティを選択し、

    好きなポートで乗り降りできる シェアサービス 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。
  3. Luup, Inc. - Confidential and Proprietary 5 現在は2種類の車両を提供しており、将来的にはユニバーサルな車両を構想 研究開発中の車両イメージ 全年齢に対応した、安心・安全でユニバーサルな車両

    電動キックボード (特定小型原付) 電動アシスト自転車 超少子高齢化の中、ワンマイルの移動手段が 不十分であることによる買い物難民の増加や 高齢者の自動車事故が課題となっていく中で このワンマイルを結ぶための取組みは不可欠です。 全世代が安心・安全に使えるモビリティの 研究開発を進めていきます Luupが目指す将来像 ※開発イメージ 多様なニーズに応えるべく、 電動アシスト自転車と電動キックボードを 用いてサービス提供中
  4. Luup, Inc. - Confidential and Proprietary 6 展開エリア 全国ポート数
 10,000


    箇所以上 
 展開都市
 東京
 横浜
 神戸
 京都
 大阪
 名古屋
 宇都宮
 東京
 大阪
 横浜
 京都
 名古屋 
 神戸
 宇都宮 
 ※2024年11月時点
 広島
 仙台
 福岡
 仙台
 高松
 高松
 北九州

  5. Luup, Inc. - Confidential and Proprietary 8 データの種類 ユーザー向けアプリ 


    • ユーザー • 位置情報 • 走行(位置情報) • 決済 • ポート • 車両 • 返却車両画像 etc 車両
 • 位置情報 • 乗車速度 • 制限速度 • PDOP(位置情報精度低下率) • HDOP(水平精度低下率) • VDOP(垂直精度低下率) • 移動距離 • バッテリー残量 • 転倒フラグ • 歩道走行モードフラグ etc • オペレーター • バッテリー交換 • 車両回収 • 操作ログ • お問い合わせ etc 社内用アプリ 
 イメージ図
  6. Luup, Inc. - Confidential and Proprietary 9 データの活用例 各種メトリクスの集計、分析 •

    事業KPIレポート等の定常的メトリクスレポートの作成 • 自治体や企業との連携 • ライド経路や車両位置情報の把握と分析 目的
 事例
 アプリの運用、改善、機能開発 • 需給予測 • オペレーションの最適化 • HW、IoTモジュール故障率の改善 • 新機能の開発 HW、IoTモジュールの改善
  7. 現状のデータ基盤のいいところ • データの異常が起きた際の即時把握、即時対応による被害拡大防止、ビジネス側とのデータエ ラーコミュニケーションの削減 • データカタログにより、どこにどのデータがあるかの確認コミュニケーションの削減 • エラー対応削減による新規開発の工数増加 • Airflow

    x dbtによる開発コストの削減、 Developer Experienceの向上 ◦ Airflowはworkflowとしての役割のみ ◦ Modelingはdbtに依存させる データエンジニアがデータ基盤を継続的に運用、改善していくコスト (工数)が削減できてお り、より高速に信頼性の高いデータ提供を実現している
  8. 対応方法 • SQLに依存しない GUIでのデータ抽出 • Semantic Layer Toolとの互換性 • 位置情報データの可視化とリッチ性

    効果: データ活用の促進 + データ基盤の重要性増加 Superset: https://superset.apache.org/
  9. データ基盤の進化 • テーブルが Dimensions, Metrics構造のようになっていないと 集計の恩恵を受けられず、扱いづらい • データ型に Array等を使うと SupersetのGUIでは認識してくれな

    いため、型を SupersetのGUIで可視化できる形に整える必要が ある • SQLでの抽出も可能なので、野良クエリ、ミスクエリは一定存在 する Superset導入により、 SQLに依存しない GUIでのデータ抽出が可能になったが、、、
  10. データ基盤の進化 • Dimensional Modelingの採用 ◦ SupersetのGUIで表現する場合に BestなModelingであり、dbtとの親和性も高い • Lake, Warehouse,

    Martの3層構造の分解 ◦ Dimensional Modelingと一緒に実施 ◦ 現状ある程度の定義は決めて運用しているが、活用者や活用方法が増えるにつれて 3層のルールでは限界 • Semantic Layer Toolの導入 ◦ Supersetと互換性のある cube.jsを導入予定 ◦ 将来的に全てのデータは cube.jsを通して取得されるようにし、 BI領域でのデータの整合性を担保 ※以下は、現在実施検討中のものです
  11. まとめ 現状のデータ基盤のいいところ • 高速に信頼性の高いデータを提供できる • Developer Experienceが高い • 異常データの即時把握、即時対応による被害拡大防止ができている 現状のデータ基盤の改善点

    • 活用面から見るとまだまだ課題が多い 便利なOSSの導入や自社開発も視野に入れ、活用促進によりフォーカスしてデータ基盤を進化させ ていく必要がある