Data Reliabilityを 最小工数で実現するための データ基盤

Transcript

1. 機密・専有情報 株式会社Luupによる個別の明示的な承諾を得ることなく、この資料を使用することを固く禁じます。 株式会社Luup 小林瑞紀 河野匠真 2024-01-25 Data Reliabilityを 最小工数で実現するための データ基盤
2. Luup, Inc. - Confidential and Proprietary 2 Speaker COO室データサイエンスチームリーダー SwD部データエンジニアリングチームリー ダー SwD部データエンジニアリングチーム データエンジニア 小林 瑞紀 河野 匠真
3. 概要 Company

4. Luup, Inc. - Confidential and Proprietary 4 提供サービス「 LUUP」 アプリ内で好きな電動マイクロモビリティを選択し、 好きなポートで乗り降りできる シェアサービス 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。
5. Luup, Inc. - Confidential and Proprietary 5 Mission：街じゅうを ”駅前化”するインフラを作る 単なるモビリティ企業ではなく、データ活用・ソフトウェアなどの様々な方法を用い、 不動産の価値を再定義、街全体の価値の向上、持続可能な街づくりのための新たな公共交通・社会インフラを目指します。 Hardware
 Software
 Data
 Alliance
 蓄積された移動データ 
 街中に点在するポート 
 行政・自治体・企業 
 との連携 
 LUUP公式アプリ 

6. Luup, Inc. - Confidential and Proprietary 6 現在は2種類の車両を提供しており、将来的にはユニバーサルな車両を構想 研究開発中の車両イメージ 全年齢に対応した、安心・安全でユニバーサルな車両 電動キックボード （特定小型原付） 電動アシスト自転車 超少子高齢化の中、ワンマイルの移動手段が 不十分であることによる買い物難民の増加や 高齢者の自動車事故が課題となっていく中で このワンマイルを結ぶための取組みは不可欠です。 全世代が安心・安全に使えるモビリティの 研究開発を進めていきます Luupが目指す将来像 ※開発イメージ 多様なニーズに応えるべく、 電動アシスト自転車と電動キックボードを 用いてサービス提供中
7. Luup, Inc. - Confidential and Proprietary 7 展開エリア 全国ポート数
 5,800
 箇所以上 
 展開都市
 東京
 横浜
 神戸
 京都
 大阪
 名古屋
 宇都宮
 東京
 大阪
 横浜
 京都
 名古屋 
 神戸
 宇都宮 
 ※2024年1月時点
 広島

8. データの活用 About Data

9. Luup, Inc. - Confidential and Proprietary 9 データサイエンティスト 小林 データ組織リーダー データ関連組織図 Data Engineering Team 業務委託 データエンジニア Data Science Team オペレーションストラテジスト 河野 データエンジニア Mission : データを戦略的に資産化することで、有用な活用を可能にし、競争優位性とする 小林 データ組織リーダー ソフトウェア開発 マーケティング オペレーション 事業推進（ポート獲得） ハードウェア開発 経営企画 PM / Designer インターン データストラテジスト インターン データストラテジスト 連携 人数は適当です。 正確ではありません。
10. Luup, Inc. - Confidential and Proprietary 10 ユーザーが直接触るサービス部分だけ見ても当然のように様々なデータが利用される データの活用 1 専用アプリをダウンロード。 利用登録後、ライドしたいポー トを探します。 STEP1
 STEP2
 STEP3
 STEP4
 ポートを見つけて、電動キック ボードや電動アシスト自転車を 選びます。 車両のQRコードを読み取り ロックを解除します。 降りるポートを予約、ライド開始。 ユーザーデータ 身分証データ 位置情報 ポートデータ 機体データ 位置情報 IoTデータ 走行データ IoTデータ 決済データ 返却機体画像
11. Luup, Inc. - Confidential and Proprietary 11 ユーザーやアプリに関わる オペレーション • 報告 / お問い合わせ対応 • ポート設置リクエスト ユーザーが直接触るサービス部分ではない 裏側のオペレーション部分でも多くのデータが活用されている データの活用 2 ポートに関わるオペレーション • ポートの獲得 / 設置 • ポートの管理 車両に関わるオペレーション • 異常な車両の回収 (故障 / 放置) • バッテリー交換 • 車両の配置
12. Luup, Inc. - Confidential and Proprietary 12 他にも事業上クリティカルな様々な箇所でデータを分析して活用している データの活用 3 • Luupのデータを生かした自治体や企業との連携 • 事業KPIレポートや経営企画用の数字の作成 • ユーザーやオペレーション用のアプリの運用、改善 • ハードウェア・IoTの改善 • プライシング • 需給予測 , etc.
13. Luup, Inc. - Confidential and Proprietary 13 他にも事業上クリティカルな様々な箇所でデータを分析して活用している データの活用 3 • Luupのデータを生かした自治体や企業との連携 • 事業KPIレポートや経営企画用の数字の作成 • ユーザーやオペレーション用のアプリの運用、改善 • ハードウェア・IoTの改善 • プライシング • 需給予測 , etc. クリティカルな箇所でデータを使っている ⇩ データの欠損や異常な値の存在によって、 交通法規違反や人命に関わる事態に繋がる
14. データの信頼性を あげるために What we do

15. 2023/01時点でのデータ基盤
16. 2023/12時点でのデータ基盤
17. 1. dbtの導入 2. Data Catalogの切り替え 3. MonteCa rloの導入 2023/12時点でのデータ基盤
18. Airflowで実施していたSQLの処理をdbtに移行し、開発・運用工数の削減 • 依存関係の設定が不要になった • 誰でもmartテーブルが作れるようになった(アナリスト等) • dbt osmosisでSchema Fileが自動生成されるようになり、大幅な工数削減になった 1. dbtの導入
19. Notionで管理していた(半自動作成)Data Catalogをdbt docsに切り替えて、完全自動化 • Catalog Fileの作成が不要になった • CIの時間が削減された • 情報がよりリッチになった 詳しくは以下 データカタログをNotionからdbt docsに切り替えた話 2. Data Catalogの切り替え
20. https://www.montecarlodata.com/ 監視設定方法 • 機械学習モデル • カスタムSQL • クエリパフォーマンス , etc. MonteCarloとは... データの異常を監視し、IncidentsとしてAlertを出してくれるSaaS 3. MonteCarloの導入
21. データ監視ツールにMonteCarloを導入し、データの信頼性を担保 • 異常データの早期検知により ◦ 障害対応の大幅な工数削減 ◦ 障害規模の縮小 ◦ 活用者が気づいて連絡もらって...といったコミュニケーションコストの削減 • 正常データの変化検知により ◦ 局所的なデータの捕捉(新機能追加や既存ロジック変更時など) 3. MonteCarloの導入
22. 課題 • MonteCarlo活用レベルの向上 ◦ ドメインの強い細かい部分はカバーできていない • dbt testの拡充 ◦ 開発時点でのデータテストがあまりできてない • BI領域でのデータ信頼性の担保 ◦ BI(Redash)で表現されているデータまで管理できていない 結果 データ基盤の開発・運用工数を削減しつつ、MonteCarloでデータ監視を行うことで、 少ない工数でデータの信頼性を担保できている 結果と課題
23. 今後の展望 Future

24. Luup, Inc. - Confidential and Proprietary 24 データエンジニアリング • データ自体の信頼性はかなり担保されてきた。運用をもっと洗練、効率化する。 • データエンジニア以外でも基盤の改修ができるようにパイプラインの開発容易性を高める。 • 非データ職種の人でも分析ができるような仕組み作り（SQLレスなBIツールやよりカバー範 囲の広いデータカタログの導入検討など） • データガバナンス強化、ポリシーや権限管理のコード化 データサイエンス / アナリスト • 人海戦術ではなく、スケールする形でデータ活用が進む仕組みや組織体制を作っていく。 • もっとオペレーションを効率化する。ここは本当に際限がなく限界まで効率化する。 • 地理データや画像データを活用して、新しい価値を生み出す。 データの資産化はある程度進んだ。もっと活用の量と幅を増やしていきたい。 今後の展望
25. Luup, Inc. - Confidential and Proprietary 25 データエンジニアリング • データ自体の信頼性はかなり担保されてきた。運用をもっと洗練、効率化する。 • データエンジニア以外でも基盤の改修ができるようにパイプラインの開発容易性を高める。 • 非データ職種の人でも分析ができるような仕組み作り（SQLレスなBIツールやよりカバー範 囲の広いデータカタログの導入検討など） • データガバナンス、ポリシーのコード化 データサイエンス / アナリスト • 人海戦術ではなく、スケールする形でデータ活用が進む仕組みや組織体制を作っていく。 • もっとオペレーションを効率化する。ここは本当に際限がなく限界まで効率化する。 • 地理データや画像データを活用して、新しい価値を生み出す。 データの資産化はある程度進んだ。もっと活用の量と幅を増やしていきたい。 今後の展望 シンプルに人が足りてないので アナリスト / データエンジニア 大募集中です！！
26. https://recruit.luup.sc/ ご清聴ありがとうございました アナリスト / データエンジニア 募集中です 詳細は採用ページをご覧ください