Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Case Study of Machine Learning in CrowdWorks

Case Study of Machine Learning in CrowdWorks

Akira Yumiyama

January 27, 2018
Tweet

More Decks by Akira Yumiyama

Other Decks in Technology

Transcript

  1. 自己紹介 • 弓山 彬 (ゆみやま あきら) • 株式会社クラウドワークス 執行役員 CTO

    • 経歴 ◦ 2011年4月 インターネットイニシアティブ入社 ◦ 2015年4月 クラウドワークス入社 ◦ 2016年7月 クラウドワークス CTO就任 • 業務 ◦ マネジメントしないCTO ◦ 最近:データ分析基盤 構築、新サービス アーキテクチャレビュー、 機械学習活用プロジェクト 推進、技術方針・戦略 策定、 ...
  2. ユーザによる不適切投稿(スパム投稿) 増加 • CGM (ユーザ投稿型メディア) に共通する課題 • 不適切な投稿が増えることによって ◦ 目的

    仕事を見つけづらくなる ◦ サービス品質 低下 • 不適切な投稿(仕事募集) 例: ◦ サービス 意図に反する投稿(アフィリエイト、情報商材、等) ◦ 外部サービス 規約に反する投稿(ランキング操作、不正な評価 依頼、等) ◦ 成功報酬、雇用を前提とした募集など、サービス 利用規約を把握せぬまま投稿するケース クラウドソーシング・サービス 抱える課題
  3. 「禁止ワード」による違反案件 検出 • 違反案件 文面に頻出するキーワードを列挙 ◦ HTMLタグ除去、Unicode正規化 後、正規表現で一致判定 ◦ いずれか

    「禁止ワード」が含まれる場合に事務局チェック 対象とする 違反案件に対する取り組み 事務局 目視チェック後、 違反であれ 掲載停止や利用制限と いった対応を実施 ☞ 自動処理が可能な 精度に至っていなかった
  4. 機械学習 活用 • 教師データが存在する ◦ ⇒ 過去 ユーザサポートチーム 判断結果が残っている •

    人によって判断基準 ブレにくい ◦ ⇒ 「あなたにおすすめ」 人それぞれ 好みへ 依存度が高い ◦ ⇒ 「よくない」「あやしい」 人による判断 ブレが少ない • 判定基準が明確である ◦ ⇒ 「利用規約」「ガイドライン」として基準が言語化されている ◦ ⇒ 迷った時 最終判断できる人が社内にいる(ユーザサポートチーム) 悪質案件 検出
  5. 試行錯誤するも.. • word2vec • doce2vec • SVM • LSTM •

    … • 全てOKか、全てNGに... 悪質案件 検出 - 機械学習 活用
  6. 違反案件 検出処理 流れ 違反案件検出 高精度化に向けた取り組み 前処理 • 必要なデータセット 抽出 •

    HTMLタグ 除去、Unicode (NFKC)正規化 検出処理 • 形態素解析にMeCabを利用 ◦ mecab-ipadic-NEologd を辞書として利用 ◦ 抽出対象 名詞、動詞、形容詞、形容動詞、副詞 ◦ 装飾用記号列など 除外した ◦ 活用するも について 基本形 (base form)を用いた • ベイジアンフィルタで判定 後処理 • サービス本体と 連携 • 事務局による目視チェック結果 フィードバック
  7. ベイジアンフィルタによる検出 違反案件検出 高精度化に向けた取り組み 違反案件 非違反案件 違反判定 807 77 非違反判定 193

    923 適合率 再現率 F値 0.913 0.807 0.857 ベイジアンフィルタ 性能評価 違反案件 非違反案件 違反判定 326 100 非違反判定 674 900 適合率 再現率 F値 0.765 0.326 0.457 禁止ワードチェック 性能評価 • 適合率、再現率ともに改善した • 複数 語 出現傾向をもとに判定することで誤判定を減らせた • 従来検知できなかった種類 違反案件も大部分を検知できた
  8. ベイジアンフィルタによる検出をサービスに適用する 違反案件検出 高精度化に向けた取り組み • 従来手法に比べて、適合率が大きく改善(76%→91%)したこと ☞ 自動非公開処理が現実味を帯びてきた ◦ 違反で無いも を非公開にしてしまうケース

    ゼロに できない ◦ そ 対応コストが許容可能な範囲に収まる程度に性能改善できた 手法 適合率 再現率 F値 正規表現 0.765 0.326 0.457 ベイジアンフィルタ 0.913 0.807 0.857
  9. ベイジアンフィルタ サービス本体と 連携 違反案件検出 高精度化に向けた取り組み 学習フェーズ (1回/day) • 1日1回、N日前〜N+60日前 60日分

    仕事依頼 データを対象に学習させる (N=3〜7) • 違反案件 傾向変化に追従させるため • 直近数日分 目視チェック未完了 場合があるため 除外 判定フェーズ (1-2回/hour) • 新着 案件に対して判定処理を実施 • 違反と判定されたも HTTP JSON API 経由で サービス本体に連携し掲載停止処理を実施
  10. ベイジアンフィルタを組み込んでみて (まとめ) • 今回 取り組みによって、初めて「禁止ワード」チェック(正規表現) 性能を定量的 に評価した ◦ 従来 感覚値で会話していたも

    が、定量的に評価し、改善・予測できるようになった • 人力 対応コストを大幅に削減できた ◦ 目視で 巡回を大幅に減らすことができた ◦ 人力チェック 結果を次回ベイジアンフィルタ 学習にフィードバックすることで、追加コスト無く継 続的に性能を維持できるようになった ◦ アーキテクチャ 工夫により、新たな取り組み 成果を速やかにサービス適用できた 違反案件検出 高精度化に向けた取り組み
  11. We're Hiring • インターネットを通じた “仕事” マッチングをより良くしていきたい • ユーザ 課題に向き合いながら、サービスを成長させていきたい方 •

    プロダクトオーナー、デザイナー、エンジニア 混成チームで働きたい方 https://crowdworks.doorkeeper.jp/events/69911 2月21日(水) 19:30〜 弊社オフィス (恵比寿ガーデンプレイス) にてミートアップ開催