Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レアジョブのデータ活用の今とこれから
Search
hayata-yamamoto
August 28, 2019
Technology
0
820
レアジョブのデータ活用の今とこれから
#rarejob_medpeer で使いました。
hayata-yamamoto
August 28, 2019
Tweet
Share
More Decks by hayata-yamamoto
See All by hayata-yamamoto
バランスト・スコアカード(BSC)
hayata_yamamoto
0
7
データ同化入門
hayata_yamamoto
0
27
中小企業のための 行政デジタルID活用ガイド
hayata_yamamoto
0
15
AIエージェントにおける評価指標と評価方法:本番環境での包括的検証戦略
hayata_yamamoto
0
7
統計的意思決定論の入門
hayata_yamamoto
0
15
コンテキストエンジニアリング入門
hayata_yamamoto
0
43
困難は分割せよ。既存のサービスにナレッジベースなAI駆動開発を導入していくための一つの方略
hayata_yamamoto
0
140
知識を蓄積していくAI駆動開発
hayata_yamamoto
17
8.6k
価値提供プロセスを試行錯誤し続けてきた話
hayata_yamamoto
0
160
Other Decks in Technology
See All in Technology
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
280
AIを使っていい感じにE2Eテストを書けるようになるまで / Trying to Write Good E2E Tests with AI
katawara
3
1.9k
alecthomas/kong はいいぞ
fujiwara3
6
1.1k
AIエージェントを支える設計
tkikuchi1002
11
2.3k
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.6k
メモ整理が苦手な者による頑張らないObsidian活用術
optim
0
150
VLMサービスを用いた請求書データ化検証 / SaaSxML_Session_1
sansan_randd
0
120
経験がないことを言い訳にしない、 AI時代の他領域への染み出し方
parayama0625
0
260
完璧を目指さない小さく始める信頼性向上
kakehashi
PRO
0
110
Railsの限界を超えろ!「家族アルバム みてね」の画像・動画の大規模アップロードを支えるアーキテクチャの変遷
ojima_h
4
520
P2P ではじめる WebRTC のつまづきどころ
tnoho
1
270
Featured
See All Featured
Music & Morning Musume
bryan
46
6.7k
GraphQLとの向き合い方2022年版
quramy
49
14k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Code Review Best Practice
trishagee
69
19k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Writing Fast Ruby
sferik
628
62k
Gamification - CAS2011
davidbonilla
81
5.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Transcript
レアジョブのデータ活用の今とこれから Hayata Yamamoto RareJob.inc
Self-intro - Name: - Hayata Yamamoto (24) - Role: -
Data Scientist @EdTech Lab - Likes: - Natural Language Processing - Data Engineering - Podcast - Recent: - Certificateをとりました
Today’s Theme データ活用の文化を維持しつつ、 より使いやすくするための分析基盤を作っている話
Agenda 1. どのようにデータは使われているか (As Is) 2. どのようにデータを使っていきたいか (To Be) 3.
どのように差分を埋めるか
どのようにデータを使っているか
Pros / Cons Pros: • エンジニアや企画職が SQLを書いて分析している • 分析結果を元に意思決定が行われる •
機械学習を用いた研究開発プロジェクトが進行中 Cons: • データウェアハウス( DWH)が形骸している • マイクロサービスのDBを横断的に利用できていない • 大規模なデータを使ったデータ分析がしにくい • データ分析に必要なドメイン知識が多い
What’s the problem? Pros: • エンジニアや企画職が SQLを書いて分析している • 分析結果を元に意思決定が行われる •
機械学習を用いた研究開発プロジェクトが進行中 Cons: • データウェアハウス( DWH)が形骸している • マイクロサービスのDBを横断的に利用できていない • 大規模なデータを使ったデータ分析がしにくい • データ分析に必要なドメイン知識が多い 技術的に問題を解決するだけで大幅にデータ活用が進むのでは? データ活用の意識がある 技術的に解決できる問題
解決法がわかっている 解決法がわかっていない 顕在化した 問題 データ分析によるプロダクト改善 データを使いやすくする データ活用の文化をつくる 潜在的な 問題 プロトタイピング
データマイニング 研究開発 (パーソナライズ、自動化など) データに関わる問題をマトリックスにまとめたもの
解決法がわかっている 解決法がわかっていない 顕在化した 問題 データ分析によるプロダクト改善 データを使いやすくする データ活用の文化をつくる 潜在的な 問題 プロトタイピング
データマイニング 研究開発 (パーソナライズ、自動化など) データ活用の文化はすでにあるのに、データが使いにくいのは大きな損失 →プロダクト改善がしにくくなってしまう
解決法がわかっている 解決法がわかっていない 顕在化した 問題 データ分析によるプロダクト改善 データを使いやすくする データ活用の文化をつくる 潜在的な 問題 プロトタイピング
データマイニング 研究開発 (パーソナライズ、自動化など) データが使いにくいと、試行錯誤の効率が非常に悪い →成果に結びつきにくくなってしまう
どのようにデータを使っていきたいか
None
None
None
要するに データ使って学習体験を向上させたい
どのように差分を埋めるか
As Is / To Be As Is • データを使って意思決定する文化を十分に活かせてない •
ノウハウやドメイン知識が属人化しがち • データへのアクセスが悪く、研究開発で試行錯誤しにくい To Be • プロダクトを通じてユーザーが英語を話せるようになる • 効率的な学習体験と新しい学習機会を提供する • それぞれの個人に合わせた学習ができるようにする
What’s the gaps? 1. データ分析する文化がある, but データが使いにくい 2. ユーザーに最適化したサービスを提供したい, but
知識が属人化しがち 3. 新しい体験を提供したい, but 研究開発の試行錯誤がしにくい データのアクセスや仕組みで解決できそう
How to solve? • BigQueryをハブにして、マイクロサービスからデータを集める ◦ データの整形やテーブルの整理をしておく • 全社で必要なデータをあらかじめ可視化しておく ◦
知見の共有、認識の統一、属人化の防止 • 集めたデータを再利用できるようにする ◦ 馴染みのあるツールや、新しいツールで使えるようにする (Redashなど) • 大規模なデータが必要な分析ロールはBQを直接叩く ◦ サーバーのスケールアウト問題からの脱却。データの再現性を確保
できる限りシンプルに
ToDo • 既存の仕組みはバッチ処理に最適化された設計になっている ◦ アプリやWebRTCなどもあるので、ストリームデータも将来的には扱いたい • AWSとGCPの使い分け、住み分け ◦ データの頻度や鮮度を求めると費用対効果を損なう懸念 •
マイクロサービスの開発とうまく並走させる ◦ 分析基盤を意識しないで済む設計にしたい • 分析基盤を一緒に作ってくれる仲間を見つける ◦ We’re Hiring!