事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 / ml-recsys-in-layerx-wantedly-2024

2024年05月14日 の兵庫県立大学の社会データ分析という講義における講演資料です。

機械学習や推薦システムという技術が事業会社におけるプロダクト開発でどのように活用されているのか、それを実現するデータサイエンティストや機械学習エンジニアというのはどういう職種なのか、LayerXのバクラク請求書やウォンテッドリーのWantedly Visit の例を使って紹介しました。

Transcript

1. © LayerX Inc. 事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 2024/05/13 兵庫県立大学 社会データ分析 Yuya Matsumura(@yu-ya4)
2. © LayerX Inc. 2 バクラク事業部 機械学習グループ マネージャー/機械学習エンジニア 経歴 • 2018/3 ◦ 京都大学大学院 情報学研究科 修士課程修了 • 現在 ◦ 株式会社LayerX 機械学習グループマネージャー ◦ ウォンテッドリー株式会社 技術顧問 ◦ その他、大学にて非常勤講師やスタートアップの技術 支援等 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） @yu__ya4
3. © LayerX Inc. 3 ミッション
4. © LayerX Inc. 4 なぜやるのか なぜやるのか 人口減少社会 人の生産性 “すべての経済活動を、デジタル化する” 日本社会の構造的課題 LayerXの課題認識 LayerXの事業/ミッションとのつながり 人口減社会で起こる課題の解決を、ソフトウェアでサポートする お金の生産性 データの生産性 バクラク事業 Fintech事業 AI・LLM事業
5. © LayerX Inc. 5 ３つの事業 LayerXはミッション実現に向け、３つの事業を運営しています。
6. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
7. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
8. © LayerX Inc. 8 ３つの事業 LayerXはミッション実現に向け、３つの事業を運営しています。
9. © LayerX Inc. 9 バクラク事業：AIをコア技術としたプロダクトラインナップ AIを活用したLayerXの事業 AI-OCRや検知技術などAIをコア技術とするバクラクシリーズを提供している。 法人カードでコスト削減　LayerXはムダ検出AI, 日本経済新聞, https://www.nikkei.com/article/DGXZQOUC207AD0Q3A220C2000000/ ,（参照2023-2-28）
10. © LayerX Inc. 10 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
11. © LayerX Inc. 11 人間が帳票をもとに手入力でデータ化するという作業をなくす AI-OCR機能が実現したいこと 請求書などの帳票に記載された項目（支払期日や支 払金額、取引先名など）を目視で確認し、ミスなく入 力・管理することは大変負荷の高い仕事 • 対応枚数が数十、数百枚と増えるにつれ、ミス が起こりやすくなる • 帳票のフォーマットは多種に渡り、目視で必要 な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の確 認作業にも追加でコストが必要
12. © LayerX Inc. 12 帳票ファイルを入力し、必要項目ごとの値を抽出する AI-OCRが解いている課題 帳票ファイル （画像・PDF） 帳票に記載の 項目ごとの値 500,000 ２０２１/02/28 株式会社テンプレ 支払期日 支払金額 取引先名
13. © LayerX Inc. 13 様々な機械学習モデルの検証や実運用 AI-OCRで利用されている機械学習モデル https://arxiv.org/abs/2012.14740 https://arxiv.org/pdf/1912.13318 https://arxiv.org/pdf/2204.08387 https://arxiv.org/pdf/1810.04805 • 商用利用可な日本語学習済みモデルが公開されているRoBERTa等をファインチューニングから実装 • マルチモーダル（画像+テキスト）なモデルであるLayoutLM系を事前学習から実装
14. © LayerX Inc. 14 様々な項目が必要となる汎用的な稟議申請 既存のAI-OCRでは解決できない課題① B社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 同じ契約・購買稟 議でも項目が 各社違う 契約・購買稟議をはじめとする汎用的な稟議全般は、各社項目設計が異なる A社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 反社チェック 下請法確認 送信アドレス 締結者情報
15. © LayerX Inc. 15 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存のAI-OCRでは解決できない課題① 既存の機械学習ベースのAI-OCRではすべての項目には対応不可 契約書 見積書 前回稟議情報 自動読み取りが 難しい 多種多様な項目ごとに十分なデータが蓄積されない ソースとなる書類・帳票も複数あり複雑性が高い 機械学習ベースの AI-OCRで自動読取 ？
16. © LayerX Inc. 16 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存のAI-OCRでは解決できない課題① LLMを用いて複数の書類から任意の項目の情報抽出を試みる 契約書 見積書 前回稟議情報 LLMが任意の稟議 項目を自動抽出 十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須 ソースとなる関連する情報を特定する部分も技術的なチャレンジ 機械学習ベースの AI-OCRで自動読取
17. © LayerX Inc. 17 既存のAI-OCRでは解決できない課題② 経費精算の稟議に必要な情報は領収書のみでは不足 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 領収書からは得られず、各社独自のルールに基づく入 力項目のため、依然として手入力が存在 機械学習ベースの AI-OCRで自動読取 帳票・書類としては存在していない情報が必要であり、AI-OCRによる情報抽出だけでは対応不可
18. © LayerX Inc. 18 既存のAI-OCRでは解決できない課題② 書類以外のソースも参照し機械学習やLLMを利用して入力補完 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 機械学習ベースの AI-OCRで自動読取 社内の支出ルール（勘定科目等） 機械学習やLLMにより 入力補完 立替にまつわるカレンダーデータ 体験面（AI-UX）の設計は必須であり、関連するソースをどのように決定するのかもチャレンジ
19. © LayerX Inc. 19 ３つの事業 LayerXはミッション実現に向け、３つの事業を運営しています。
20. © LayerX Inc. 20 AI・LLM事業：昨年4月にLabs設立、11月に本格的に事業化へ AIを活用したLayerXの事業 LayerX、生成AIの専門組織　新規事業を準備 , 日本経済新聞 , https://www.nikkei.com/article/DGXZQOUF03AQE0T00C23A4000000/ ,（参照2023-4-4）
21. © LayerX Inc. 21 生成AI・LLMの強み 構造化データだけでなく 多様なフォーマットに対応可能 ＋ 生成AI・LLMの登場により非構造化データを含めたあらゆるフォーマットのデジタル化が比較的容易に 事業化の背景
22. © LayerX Inc. 22 LLMの汎用性による新たな可能性 事業化の背景
23. © LayerX Inc. 23 アセットマネジメント・証券領域など、いわゆる専門性が高い領域における膨大な文書処理の効率化 LLMを活かしたプロセスリデザインによる生産性向上 事業の狙い
24. © LayerX Inc. 24 「膨大な文書処理業務」を効率化するプロダクトの開発 プロダクト
25. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
26. 26 © LayerX Inc. 本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会 社においてどう活用されているのかを知ることで、それらが自分たちに関係の あるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に興 味を持っていただき、より深く知る・考えるきっかけになってほしい。
27. © LayerX Inc. 27 別に将来、機械学習とか推薦システムに関係する仕事はしないし... 本日のお話しの目的
28. © LayerX Inc. 28 プロダクトの利用者側としては確実に関わる（LLMの例） あらゆる人が機械学習や推薦システムについて学ぶ意義 https://ja.duolingo.com/ https://www.notion.so/ja-jp/help/guides/notion-ai-for-docs https://prtimes.jp/main/html/rd/p/000000221.000036528.html https://about.mercari.com/press/news/articles/20230501_generativeai/ 昨今のChatGPTをはじめとした大規模言語モデルの潮流による社会応用の急進
29. © LayerX Inc. 29 プロダクトの利用者側としては確実に関わる（推薦システムの例） あらゆる人が機械学習や推薦システムについて学ぶ意義 • Netflix は動画視聴の75%が推薦経由 • TikTok はレコメンド（推薦システム）をユーザー体験の中心と位置づけ、ユー ザー向けの製品ページにレコメンドの仕組みについての説明を掲載 https://netflixtechblog.com/netflix-recommendations-beyond-the-5-stars-part-1-55838468f429 We have adapted our personalization algorithms to this new scenario in such a way that now 75% of what people watch is from some sort of recommendation. https://newsroom.tiktok.com/ja-jp/how-tiktok-recommends-videos
30. © LayerX Inc. 30 仕組みを知ることで正しく使う あらゆる人が機械学習や推薦システムについて学ぶ意義 https://www.u-hyogo.ac.jp/important/f65d127adab69090fa0095455d4 4af657fb33ee2.html https://www.nikkei.com/article/DGXZQOGN31DUY0R30C23A3000000/
31. © LayerX Inc. 31 仕組みを知ることでより恩恵を受けられるように行動できる あらゆる人が機械学習や推薦システムについて学ぶ意義 • 書籍を買う際はできるだけ Amazon を利用する。他人へプレゼントする場合は Amazon 以外で購入する。 • コンテンツにフィードバック（点数、Good or Bad…）できる場合はつける。 https://www.amazon.co.jp/ https://news.google.com/
32. © LayerX Inc. 32 仕組みを知ることでデータをマネジメントして不利益を避ける あらゆる人が機械学習や推薦システムについて学ぶ意義 • どんなデータがどのように活用されているかはプロダクトごとに公開 • 実際に利用されているデータを開示できるプロダクトも • おすすめのアルゴリズムに使用されたくない過去の購入品を選択 https://service-terms.wantedly.com/privacy_policy/ja_JP https://www.netflix.com/account/getmyin fo https://www.amazon.co.jp/gp/yourstore/iyr?collection=purch ased&ref_=pd_ys_iyr_nort
33. 33 © LayerX Inc. （再掲）本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会 社においてどう活用されているのかを知ることで、それらが自分たちに関係の あるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に興 味を持っていただき、より深く知る・考えるきっかけになってほしい。
34. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
35. 35 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
36. 36 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い 扱うデータが 十分に複雑である 仕訳・支払処理効率化 ・AIが請求書を５秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応
37. © LayerX Inc. 37 人間が帳票をもとに手入力でデータ化するという作業をなくす バクラク請求書 請求書読み取り機能が解決したい課題 請求書などの帳票に記載された項目（支払期日や支 払金額、取引先名など）を目視で確認し、ミスなく入 力・管理することは大変負荷の高い仕事 • 対応枚数が数十、数百枚と増えるにつれ、ミス が起こりやすくなる • 帳票のフォーマットは多種に渡り、目視で必要 な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の確 認作業にも追加でコストが必要
38. © LayerX Inc. 38 バクラク請求書 請求書読み取り(OCR)機能のデモ
39. 39 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
40. © LayerX Inc. 40 データが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 今あるのか？今はなくともこれからたまる仕組みがあるのか？ • データは使える程度にはキレイか、開発に際してアクセス可能な状態か？ • 教師あり学習を行う場合は、正解データも十分に得られるか? ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？ 機械学習は、大量のデータから自動でルールを学習する （正解データのある）大量のデータが得られる
41. © LayerX Inc. 41 データが十分にないとルールを学習できなかったり（未学習）、学習データのみに適合してしまう（過学習） • 今あるのか？今はなくともこれからたまる仕組みがあるのか？ → 今もあるし（月次数百億円規模の請求書）、これからも増えていくであろう。 • データは使える程度にはキレイか、開発に際してアクセス可能な状態か？ 　→整備されており、適切な情報・権限管理のもと一部の開発者はアクセス可能 • 教師あり学習を行う場合は、正解データも十分に得られるか? → サービスが利用されると正解データであるユーザーの入力値がたまっていく。 ◦ アノテーションを行う必要があるなら、その仕組みや体制は整っているか？ 　　　　　→ 別途アノテーション用の基盤システムや、組織が整備されている。 機械学習は、大量のデータから自動でルールを学習する （正解データのある）大量のデータが得られる の場合
42. 42 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
43. © LayerX Inc. 43 単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？ ◦ Fizz Buzz に機械学習を用いることもできるが、そのコストを事業上許容できるかというと... • データの扱いが難しいか？ ◦ めちゃくちゃたくさんのカラムがある表データ ◦ 自然言語や画像、音声などの非構造化データ 機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意 扱うデータが十分に複雑である
44. © LayerX Inc. 44 単純なデータであれば、人手でルールを記述する（一般的なプログラミング）ので十分なことも。 • ルールが複雑（難解・大量）で人手で記述することが困難か？ → 世の中には様々な請求書のパターンが存在しており、かつ、ユーザーの運用もそれぞれで複雑である。 • データの扱いが難しいか？ → 非構造化データである画像ファイルやPDF形式の請求書を扱う必要がある。 機械学習は、複雑で人間が記述することが難しいルールを見つけ出すのが得意 扱うデータが十分に複雑である の場合
45. 45 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い
46. © LayerX Inc. 46 変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？ ◦ プロダクト規模の拡大により、異なるセグメントのユーザーが利用するようになったり ◦ 同一ユーザーでも時間の流れとともに嗜好が変わったり • 世の中の状況の変化にプロダクトは影響を受けるか？ ◦ 法改正・流行の変化・景気・パンデミック... 機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる データの特性が変化し続ける
47. © LayerX Inc. 47 変化し続けるルールを人手で更新し続けるのは困難。変化しないなら気合いですべて記述してしまう手も？ • ユーザーの性質は変化するか？ 　→ どんどんいろんな規模や業界の企業さまにご利用いただいていっている。企業さまにより、利用している 請求書のフォーマットは様々である。 • 世の中の状況の変化にプロダクトは影響を受けるか？ → 「インボイス制度」により、読み取ることのできるべき請求書の項目が増加。 → コロナ禍による在宅勤務が進んだ影響などで、副業を行う個人事業主が増加。 機械学習は、データの特性が変わっても再学習することで自動で新しいルールを更新できる データの特性が変化し続ける の場合
48. 48 © LayerX Inc. 機械学習・推薦システムを利用すべき場面 （正解データのある） 大量のデータが得られる 扱うデータが 十分に複雑である データの特性が 変化し続ける 以下の３つのポイントを満たす場合、機械学習で課題を解決できる・解決すべき可能性が高い 適切に状況を見極め、手段（≠目的）である機械学習を適用するべきか考えることが重要
49. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
50. © LayerX Inc. 50 開発の流れをWantedly Visitの会社・シゴトの推薦システムを例に説明 機械学習・推薦システムのプロジェクトの進め方 https://speakerdeck.com/wantedly/wantedly-recruitment-brochure?slide=12
51. © LayerX Inc. 51 Wantedly Visitの会社・シゴトの推薦システム https://speakerdeck.com/yuya4/deim2022-rrs-wantedly-visit?slide=8
52. © LayerX Inc. 52 Wantedly Visitの会社・シゴトの推薦システム https://speakerdeck.com/yuya4/deim2022-rrs-wantedly-visit?slide=8 ちょっとだけ裏側... • 初めてパーソナライジングした際は、変更 コストなどを鑑みて、単純なメモリベース の協調フィルタリングを素早く導入して 検証した。 • 次のフェイズにて、もう少し複雑な行列分 解の手法を利用。 • 現在ではより高度な機械学習ベースのア ルゴリズムが利用されている。
53. 53 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
54. 54 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
55. © LayerX Inc. 55 • この問題を解消・軽減することがプロジェクト（推薦システム開発）の目的に • プロジェクトの成否の判断基準にもなるのでできるだけ定量的に 理想や目標と現状のギャップ=問題を発見・認識する 1. プロダクト上の問題発見・認識 ユーザーから会社への 月間応募数10万 ユーザーから会社への 月間応募数8万 理想・目標 現状 月間応募数が2万少ない ギャップ = 問題
56. © LayerX Inc. 56 • 大き過ぎ→原因特定が難化したり、解決策が汎用的になり過ぎインパクトが小さく • 小さ過ぎ→解決策が特殊になり過ぎてインパクトが小さく 可能ならばある程度の大きさの粒度に落とし込む 1. プロダクト上の問題発見・認識 ユーザーから会社への 月間応募数10万 ユーザーから会社への 月間応募数8万 理想・目標 現状 ギャップ = 問題 月間応募数が2万少ない ↓ 新規ユーザによる 月間応募数が1.5万少ない
57. 57 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
58. © LayerX Inc. 58 • 定量：アンケート、ユーザデータや行動ログの分析 etc. • 定性：ユーザインタビュー、SNSエゴサ、市場調査、ユーザとして自社サービスを 使ってみる、競合サービスを使ってみる、これまで培われた経験 etc. 問題がなぜ起きているかを定量・定性アプローチで特定 2. 問題の原因特定 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 問題の原因（候補） • 登録直後に推薦される会社が微妙 • 登録フローが分かりにくい • 競合サービスがキャンペーンを実施
59. © LayerX Inc. 59 • 定量→定性：行動ログを分析して知り得た事実をユーザインタビューを実施して確認 • 定性→定量：SNSに投稿されていて知り得た事実を実際の行動ログを分析して確認 定量・定性アプローチを補完し合い、特定した原因の確度を高める 2. 問題の原因特定 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 問題の原因（候補） • 登録直後に推薦される会社が微妙 • 登録フローが分かりにくい • 競合サービスがキャンペーンを実施
60. © LayerX Inc. 60 • 登録フローは比較的簡単に修正できるがあまりインパクトがなさそう... • 競合のキャンペーン実施自体はどうしようもないし一過性のものだし... • 行動ログのある既存ユーザーへのパーソナライジングした推薦は取り組んできたが新 規ユーザーへの推薦はまだ改善余地がありそう！（コールドスタート問題） 解決時のインパクト（広さ×深さ）や解決可能性の高いものを優先 2. 問題の原因特定 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 問題の原因（候補） • 登録直後に推薦される会社が微妙 • 登録フローが分かりにくい • 競合サービスがキャンペーンを実施
61. 61 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
62. © LayerX Inc. 62 特定した原因を解決し得る課題を定義・解決策を立案 3. 解くべき課題の定義・解決策の立案 課題・解決策（候補） • 登録直後には手動で選んだいい感じの会社を推薦 • 登録直後にはサービス内で人気な順で会社を推薦 • 登録時の入力情報を増やすことで、登録直後でも ユーザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙
63. © LayerX Inc. 63 インパクトやコスト、原因解消の確度などの観点から取り組むものを選択 3. 解くべき課題の定義・解決策の立案 課題・解決策（候補） • 登録直後には手動で選んだいい感じの会社を推薦 • 登録直後にはサービス内で人気な順で会社を推薦 • 登録時の入力情報を増やすことで、登録直後でも ユーザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙 • 手動で選ぶ運用を続けるのはコストが高すぎる... • 様々なユーザーがいる中で画一的な人気順では一部にしか刺さらずインパクトが...
64. © LayerX Inc. 64 • ここが曖昧だと、解決策を実行した際に問題の原因が解消されたのか判断できなく • トレードオフがある場合は同時に言語化 課題が解決され、問題の原因が解消された状態を言語化 3. 解くべき課題の定義・解決策の立案 課題・解決策 登録時の入力情報を増やすことで、登録直 後でもユーザの嗜好に合った会社を推薦 問題の原因 登録直後に推薦される会社が微妙 新規ユーザによる 月間応募数が1.5万少ない ギャップ = 問題 • 登録直後に応募するユーザ数が20%以上増加する • 新規ユーザによる月間応募数が0.5万以上増加する • 登録時の情報入力画面で離脱するユーザが10%以上 増加しない 問題の原因が解消された状態
65. 65 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
66. © LayerX Inc. 66 • 手段を目的化しない（最新の技術を使うことを目的とするとか） • 最初からコストをかけ過ぎず、妥当な実現方法を模索 • UX重要。使われないと価値が届かない。（精度はいいが推論が遅すぎるとか） 機械学習や推薦システムなどの技術を駆使し、UXも考慮してプロダクトに組み込む 4. 課題解決・解決策の実行 課題・解決策 登録時の入力情報を増やすことで、登録直 後でもユーザの嗜好に合った会社を推薦 https://speakerdeck.com/yuya4/deim2022-rrs-wantedly-visit?slide=9
67. © LayerX Inc. 67 機械学習や推薦システムなどの技術を駆使し、UXも考慮してプロダクトに組み込む 4. 課題解決・解決策の実行 https://speakerdeck.com/yuya4/deim2022-rrs-wantedly-visit?slide=9 ちょっとだけ裏側... • ユーザーのプロフィール情報や会社情報から、 会社探しに際してユーザーの嗜好を表現できそ うな「興味」と呼ばれるキーワードを抽出 • 行動ログのない新規ユーザーでも、オンボー ディング時に選択した「興味」に応じた会社の募 集が推薦されるようなアルゴリズムの開発（内 容ベースフィルタリング） • オンボーディング時にユーザーが入力する量が 増えると離脱率が上がるというトレードオフが 考えられたが、それ以上の効果を期待して推進 ◦ NetflixやSpotifyにおける類似機能の存在 や、情報を入力すればよりいいコンテンツが推 薦されるようになるであろうという考えが広ま りつつある社会情勢も後押し
68. 68 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
69. © LayerX Inc. 69 • 機能を作る、推薦アルゴリズムをリリースすることが目的ではない。 • オフライン評価→オンライン評価という順に実施 プロジェクトのゴールとなる「問題の原因が解消された状態」に沿った評価を実施 5. 評価 • 登録直後に応募するユーザ数が20%以上増加する • 新規ユーザによる月間応募数が0.5万以上増加する • 登録時の情報入力画面で離脱するユーザが10%以上 増加しない 問題の原因が解消された状態
70. © LayerX Inc. 70 • 定量：定めた評価指標が定めた基準以上改善しているか確認 ◦ 最重要な指標（応募数）以外のプロダクト的に重要な指標も確認（ユーザに推薦される企業の多様 性、応募するユーザー数、ユーザーへの表示速度...） • 定性：実際にユーザに表示される推薦結果をいくつか目で見て確認 ◦ ここで思いがけない考慮漏れが見つかることも • 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再チャレンジ オフライン評価：過去データに基づき、オンライン評価に回していい品質か検証 5. 評価
71. © LayerX Inc. 71 • AB テスト、Interleaving などの手法を利用 • オフライン評価と同様に定量・定性の両面で確認 • 品質が足りない場合は「4. 課題解決・解決策の実行」に戻って品質向上に向けて再チャレンジ、あるい は仮説が正しくなく方針転換が必要な場合は「3. 課題定義・解決策の立案」からやり直す オンライン評価：（一部の）ユーザに実際にリリースし問題の原因が解消されるか検証 5. 評価
72. 72 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
73. © LayerX Inc. 73 • 「問題の原因が解消された状態」となっているか必ず確認 ◦ オンラインテストはあくまでオンラインテストなので、全体適用時とは異なる動きをする可能性も。 • 継続的なモニタリングを必ず実施 ◦ 機械学習を用いる際は、学習ログや予測結果の評価値なども継続的に確認する。データの傾向が 変わることで気づいたら学習がうまくいかなくなっていることなどもしばしば。 評価の工程で品質を確認できたらいよいよ全体に適用したリリース・運用を開始 6.運用
74. 74 © LayerX Inc. 機械学習・推薦システムのプロジェクトの進め方 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
75. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
76. © LayerX Inc. 76 データサイエンティスト協会によると... データサイエンティストとは https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf データサイエンス力、 データエンジニアリング力をベースに データから価値を創出し、 ビジネス課題に答えをだす プロフェッショナル
77. © LayerX Inc. 77 データサイエンティスト協会によると... データサイエンティストとは https://www.datascientist.or.jp/common/docs/10thsymp_skill.pdf
78. © LayerX Inc. 78 データサイエンティスト協会によると... データサイエンティストとは https://www.datascientist.or.jp/symp/2021/pdf/20211116_1400-1600_skill.pdf データサイエンス力、 データエンジニアリング力をベースに データから価値を創出し、 ビジネス課題に答えをだす プロフェッショナル
79. © LayerX Inc. 79 プロダクト開発においては データサイエンティストとは ユーザの課題を解決して プロダクト/事業目標を達成することが重要
80. © LayerX Inc. 80 データサイエンティストとは どれかが欠けては達成できない もちろん個人ではなくチームで補完しあってもよい 目標を達成しうるユーザ の課題を定義 実際にユーザに価値を届 けて課題を解決 データを活用してユーザ の課題を解決しうる価値 を創出
81. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
82. © LayerX Inc. 82 データサイエンティストに必要な能力 どんな能力を身につけていけばよいのだろう？
83. © LayerX Inc. 83 データサイエンティストに必要な能力 コードを書いたり論文を読んで （高度な）推薦アルゴリズムを実装する能力
84. © LayerX Inc. 84 コードを書いたり論文を読んで（高度な）推薦アルゴリズムを実装する能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。 そもそも実現できる能力がなければ問題解決なんてできない。
85. © LayerX Inc. 85 コードを書いたり論文を読んで（高度な）推薦アルゴリズムを実装する能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に「4. 課題解決・解決策の実行」でめちゃくちゃ活躍する。 そもそも実現できる能力がなければ問題解決なんてできない。 ので当たり前にめちゃくちゃ重要だが...
86. © LayerX Inc. 86 データサイエンティストに必要な能力 正解がない問題を 皆が納得する形で解決できる形にする能力
87. © LayerX Inc. 87 正解がない問題を皆が納得する形で解決できる形にする能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に 1-3 の過程でめちゃくちゃ重要 そもそも解決可能な形にする能力がなければ問題解決なんてできない。 不適切な課題定義はプロダクトを誤った方向に進めてしまう。
88. © LayerX Inc. 88 正解がない問題を皆が納得する形で解決できる形にする能力 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 主に 1-3 の過程でめちゃくちゃ重要 そもそも解決可能な形にする能力がなければ問題解決なんてできない。 不適切な課題定義はプロダクトを誤った方向に進めてしまう。 特に学生のうちにこちらにも向き合ってほしい
89. © LayerX Inc. 89 正解がない問題を皆が納得する形で解決できる形にする能力 • めちゃくちゃ重要だけどめちゃくちゃ難しい（十分にできる人は稀少） ◦ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技 • 問題解決のプロセスを繰り返して身につけるしかない • きちんとした問題解決の機会は少ない（よほど普段から意識しないと） • フィードバックの機会も少なく、自分のやり方が正しいかも分からない 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用
90. © LayerX Inc. 90 正解がない問題を皆が納得する形で解決できる形にする能力 • めちゃくちゃ重要だけどめちゃくちゃ難しい（十分にできる人は稀少） ◦ 論理的思考力・水平思考力・批判的思考力・洞察力・俯瞰力・応用力などなどの総合格闘技 • 問題解決のプロセスを繰り返して身につけるしかない • きちんとした問題解決の機会は少ない（よほど普段から意識しないと） • フィードバックの機会も少なく、自分のやり方が正しいかも分からない 1. プロダクト上の問題発見・認識 2. 問題の原因特定 3. 解くべき課題の定義・解決策の立案 4. 課題解決・解決策の実行 5. 評価 6. 運用 研究のプロセスに完全に一致
91. © LayerX Inc. 91 正解がない問題を皆が納得する形で解決できる形にする能力 • 私は学生時代（特に修士課程）における研究活動によってこの能力があ る程度身についたと考えている • 学生時代の研究ほど一つの正解のない問題について深く・長く考える機 会はなかなかない • しかも超優秀な先生方のご指導付き • 社会人になってから身につけようとするとけっこう大変なので、学生時 代の研究活動を一生懸命行うことをとてもおすすめします
92. © LayerX Inc. 92 正解がない問題を皆が納得する形で解決できる形にする能力 • 私は学生時代（特に修士課程）における研究活動によってこの能力があ る程度身についたと考えている • 学生時代の研究ほど一つの正解のない問題について深く・長く考える機 会はなかなかない • しかも超優秀な先生方のご指導付き • 社会人になってから身につけようとするとけっこう大変なので、学生時 代の研究活動を一生懸命行うことをとてもおすすめします ※私は先生の回し者ではありません
93. 目次 Agenda 1. LayerXにおけるAI・機械学習技術の活用事例 2. 本日のお話しの目的 3. 機械学習・推薦システムを利用すべき場面 4. 機械学習・推薦システムのプロジェクトの進め方 5. データサイエンティストとは 6. データサイエンティストに必要な能力
94. 94 © LayerX Inc. （再々掲）本日のお話しの目的 • みなさんが学問として学んでいる機械学習や推薦システムという技術が事業会 社においてどう活用されているのかを知ることで、それらが自分たちに関係の あるもので、学ぶ意義のあるものだと感じてほしい。 • それらを活用するデータサイエンティストや機械学習エンジニアという職種に興 味を持っていただき、より深く知る・考えるきっかけになってほしい。