抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

第5回 データアーキテクト（データ整備人）を”前向きに”考える会
https://analytics-and-intelligence.connpass.com/event/180202/

作成者 ：しんゆう＠データ分析とインテリジェンス
Twitter：https://twitter.com/data_analyst_
note：https://note.com/shinu

1. 抽出の仕事をうまくやるために必要なこと しんゆう＠データ分析とインテリジェンス 2020/07/14 第5回 データアーキテクト（データ整備人）を”前向きに”考える会 #前向きデータ整備人
2. 資料・SNS・写真撮影などについて • 本日の資料は https://speakerdeck.com/shinu/maemuki-data-seibinin05 に公開済み。note・Twitterからもリンクあり • 〇 SNSで話題にすること • × 録画・録音 • アーカイブの公開はありません
3. 前置き • 抽出は役割としても認知されていないので何となく誰かが やっていることも多く、各自でなんとかしている状態が続 いている • いかに抽出の役割をうまくやるかについて、いままで経験 して考えてきたことをまとめてみようと試みた（が、時間 の都合で全部は無理だった） • 今回は分析者自身がやる場合ではなく、経営者やマネージ ャー、あるいはマーケターなど自分でできない人の代わり にやる場合を主に想定している
4. 目次 • 自己紹介 • データ分析プロセスとデータ抽出 • データ抽出を行うために必要なスキル • データ抽出をもっとうまくやるために必要な事 • ヒアリングでどこまで踏み込みこむか • 雑用扱いされる問題への対処 • まとめ
5. 自己紹介
6. 自己紹介 • しんゆう（ Twitter : @data_analyst_ ） • ブログ「データ分析とインテリジェンス」を書いてる人 noteに移行しました → https://note.com/shinu • フリーランスでデータに関する仕事をあれこれ • 仕事でやってること：データをうまく使えるようにする人 • 仕事でやりたいこと：意思決定のための情報分析をする人
7. データ分析プロセスとデータ抽出
8. 抽出をデータ分析全体の中で位置づける • データ抽出というと、とにかく言われたことをやるだけと か雑用といった考えの人は少なくないらしいがそれではモ チベーションは上がらない • その原因の１つにデータ分析の全体像を捉えずに抽出の作 業だけを考えているから、があるのではないか • そこで最初に、データ抽出がデータ分析プロセス全体にお いてどのような位置づけにあるかを見てみる
9. • データ分析は目的の決定から始まる一連のプロセス データ分析はプロセスである 目的の 決定 要求 収集 処理 洞察 伝達 決定と 実行 フィード バック
10. 「収集」は必要なデータを集める • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ 目的の 決定 要求 収集 処理 洞察 伝達 決定と 実行 フィード バック
11. 抽出は「収集」を担うこと • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来 ない場合にその部分を分担する 目的の 決定 要求 処理 洞察 伝達 決定と 実行 フィード バック 収集
12. 抽出は分析者に適切なパスを送る役割 • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来 ない場合にその部分を分担する • 分析者が速やかに次のフェーズに移行できるよう適切にパ スを送る役目 目的の 決定 要求 処理 洞察 伝達 決定と 実行 フィード バック 収集
13. 抽出は収集の一部であり雑用にはなりえない • つまり、抽出はデータ分析プロセスの一部なのでここでつ まづくと先に進めないかそのデータをあきらめるか • データの価値が高くても使えないのでは何の意味もない • 事前に集めて整備をしておくことと同時に、欲しい時に欲 しい人が使えるように提供する役割が必要 • このように捉えると、決して雑用などにはなりえない
14. データ抽出を行うために必要なスキル
15. • 位置づけがわかるとやる気になれるが意識が高いだけでは あまり役に立たない • 抽出の役割で最も重要なことは「依頼により早く正確に対 応する」こと • ではこの「依頼により早く正確に対応する」をうまくやる ために必要なスキルは何で、それらをうまくやるにはどう したらいいのだろう 気持ちもスキルも両方大事
16. • 正しくヒアリングする • 抽出を実現するための技術力 • 多種多様な依頼をさばく • アウトプットを相手に合わせる • 追加変更を見越しておく • データへの理解を深めておく • データを整備しておく データ抽出に必要なスキル
17. • 「正しくヒアリングする」とは依頼者が求めていることと、 依頼として出てくることにはギャップがあるのでその部分 をヒアリングして埋めること • 聞き取るのは優先度順に「欲しいデータ、納期、アウトプ ットの形」 • 欲しいデータは鵜呑みにすると全員不幸になるので“ヒアリ ングでどこまで踏み込むか”は重要な論点 • 後半でちょっとだけ触れる ヒアリングはギャップを埋める
18. • 「抽出を実現するための技術力」はSQLでDBからデータを 取ってくるのが中心 • それ以外にもExcelかもしれないし環境によってはPython でやるかもしれない • エンジニアのようにプログラミングできる必要はなくても その企業の環境で扱う必要があれば身に着けていく柔軟性 を持って臨機応変な対応が出来た方が成果は出しやすい SQLが中心だがそれだけではない
19. • 「多種多様な依頼をさばく」ことがなぜ必要かというと、 データが扱える人は少数派なので話を聞きつけた様々な部 署から多種多様な依頼が来る。それをうまくさばけないと すぐにパンクする • 重要度と納期を併せて優先順位を決める＋各依頼者と内容 や納期の調整を密に行う • 当初の予定に間に合わなそうな場合はとにかく早く連絡す る。間に合わなくなるかもしれない、ぐらいのうちからや っておいた方がいい 優先順位決めと納期の調整が鍵
20. • 「アウトプットを相手に合わせる」には次に使う人がどう したら使いやすいかをヒアリング時に聞いておく • 自分が使う場合には無意識にそうしていても人に渡す場合 はあえて意識しておかないと「自分はこれで使えるから他 の人も大丈夫だろう」になりがち • ただし「苦手だから集計も」に毎回答えているときりがな いのでやり方を教える。覚えてくれない人は放置 アウトプットは次の人が使いやすいように
21. • どこかで抜け漏れは起きる可能性は残るので「追加変更を 見越しておく」と後で楽（仕事だけでなく精神衛生上も） • いくらヒアリングしても漏れたり後で思いついたりさらに その向こうの上司やクライアントからの追加注文が発生し たりするので全部は吸収できない • 例えば依頼の期間より長く、細かい粒度を準備しておきア ウトプットの際には依頼分だけ出せばあとで簡単に対応で きるしこれもヒアリング段階で「こういうのもあるよ」が 出せると話が早い 追加変更はあると思っておく
22. • 「データへの理解を深めておく」のは対応の速さや正確性 を高める • 必要になってから調べ始めても詳しくわからない、調べる 時間がない、作った当人がもういないなどで間に合わなく なることもあるので重要性が高そうなものを優先して早め に調べておく • ただしメタデータの作成のようにエンジニアがやった方が 良いかもしれないことまで全て受ける必要は無い 早めに調べてデータを理解しておく
23. • いくら技術力があっても整備していないデータを毎回相手 にしていると時間を無駄にするので「データを整備してお く」 • エンジニア側だけに任せてしまうと抽出や分析への意識が 向かないことも多々あるので一緒にやる • なので抽出だけではなく整備とセットで取り組む方がいい、 というのが個人的な考え データ整備にも積極的に関わる
24. データ抽出をもっとうまくやるために必要な事
25. • ここまでで基本的なスキルについては話した。これらがち ゃんとできればかなり仕事はできると思う（が自分でも全 部できていないのでまだまだ足りないかもしれない • さらにもっとうまくやるためには他にも考えなければなら ないことがある 基本ができたらもっとできるようになるには
26. • ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか 抽出をもっとうまくやるために必要な事
27. • ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか 時間の都合でこの２つにちょっとだけ触れる。詳しくは別の 機会（次回以降にするかnoteにまとめるか・・・）にする 今日は重要度の高い２つの話をちょっとだけ
28. ヒアリングでどこまで踏み込みこむか
29. 依頼となる前には問いがある 問い（課題・目的） 知るべきこと 必要なデータ 依頼 • 抽出はデータ分析プロセスの一環なので、 先に問いや目的、あるいは課題や仮説が あり、それを解決するためにどんなデー タが必要になるかという流れがあって依 頼になる 抽出
30. 依頼の前のどこで間違えていても無駄になる • なので問いや知るべきこと、必要なデー タ、そして依頼が間違えていれば抽出を しても無駄にしかならない 問い（課題・目的） 知るべきこと 必要なデータ 依頼 抽出 問いを間違えていればどんなデータも役に立たない
31. 正しく依頼を出すのは依頼者の責任 • 本来は依頼してくる側が考えてきちんと した依頼を出し、抽出側はそれを受けて できることや納期を調整する 問い（課題・目的） 知るべきこと 必要なデータ 依頼 抽出 ここまでは依頼する側がやるべきこと
32. データについてなら踏み込んでもよい • 依頼が間違えている、必要なデータはも っとあるぐらいならばデータに詳しい側 から介入するのはよいと思う • 「こういうデータが必要ならこんな値も 取れるけど」 問い（課題・目的） 知るべきこと 必要なデータ 依頼 抽出 ここまでなら抽出が踏み込んでもよいと思う
33. 何が知りたいかを毎回聞くべきかは疑問 • 問題は、問いや知るべきことが正しくな いと思った際にどこまで踏み込むのがよ いのか 問い（課題・目的） 知るべきこと 必要なデータ 依頼 抽出
34. • もし自分がデータを依頼する側になった時のことを考えて みることで「問いに踏み込む」とはどういうことかをみて みる • 明日のランチを決めるのに今日のランチ、懐具合、一緒に 行く人などいろいろ考えた上で「明日のランチは近くで安 くしたい」と考えて“場所と予算”で探すことにした 場所と予算を入力して合うデータが欲しい
35. • グルメサイトに「このあたりで８００円まで」と入力した ところ「１２００円出せばもっと栄養のあるものが食べら れます」とか「あなたは料理に何を求めますか」とか聞か れたら「いいからまず指定したデータをよこせ」と思うだ ろう • ましてや背景を無視した「これがお勧め」は大抵的外れ • 抽出の依頼に対してむやみに問いや知るべきことに踏み込 むのはもしかしたらこれと同じかもしれない 背景を知らない外野の指摘は大抵的外れ
36. • 依頼してくる側と同じ背景を共有しているのであればよい かもしれないが規模が小さい企業や特定のチーム内や親し い個人間では成立しても仕組みとしては難しいのでは • なのでデータ、目的と段階を経て聞いていくのがよいのだ が、そんなことを毎回やっている余裕はまずない • この件は明確な答えは出ていないが、ただ「背景から全部 聞けばいい」という話では済まないだろう 常に「背景から全部聞く」は正解ではない
37. 雑用扱いされる問題にどう対処するか
38. • サッカーでもシュートを決める人が目立つのは当然だがパ スを送る人を雑用などと一流のプロにそんなことを言う人 はいない。データ分析も同様 • たとえ思っていたとしても声に出して周りの士気を下げて も自分の首を絞めるだけ • うまくやれないことは責められてしかるべきだが、一緒く たにして「雑用」という人とは適度な距離を置く。会社の 方針ならばデータを活用することの未来は暗い パスする人を雑用扱いする人に一流はいない
39. まとめ
40. • データ抽出はパスする役目。うまくやれないとシュートを 打つ人が困るしシュートを打てないと試合に勝てない • うまくやるためには技術だけでなく段取りとかコミュニケ ーションも必要で幅広いスキルが要求される • データ抽出も１つの役割として堂々とやっていきましょう 本日のまとめ 質問・疑問などお気軽にご連絡ください しんゆう@データ分析とインテリジェンス Twitter：data_analyst_