Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
検索失敗率のモニタリングから改善まで - Search Engineering Tech Ta...
Search
Jungwon Choi
May 26, 2024
Technology
6
1.4k
検索失敗率のモニタリングから改善まで - Search Engineering Tech Talk 2024 Spring
Search Engineering Tech Talk 2024 Spring
の LT枠の発表資料です。
Jungwon Choi
May 26, 2024
Tweet
Share
More Decks by Jungwon Choi
See All by Jungwon Choi
「ElasticsearchのReindexをするために試行錯誤して分かったこと」 50回 Elasticsearch勉強会
magicpieh28
1
1.4k
Other Decks in Technology
See All in Technology
スタッフエンジニアの道: The Staff Engineer’s Path
snoozer05
PRO
41
13k
PdMはどのように全てのスピードを上げられるか ~ 非連続進化のための具体的な取り組み ~
sansantech
PRO
2
510
JEP 480: Structured Concurrency
aya_ebata
0
130
プロダクトエンジニアを支えるための開発生産性向上施策
tsukakei
0
140
社内の学びの場・コミュニティ形成とエンジニア同士のリレーションシップ構築/devreljapan2024
nishiuma
3
240
Estrategias de escalabilidade para projetos web
jessilyneh
2
230
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
nayuts
0
110
「認証認可」という体験をデザインする ~Nekko Cloud認証認可基盤計画
logica0419
2
250
SORACOMで実現するIoTのマルチクラウド対応 - IoTでのクリーンアーキテクチャの実現 -
kenichirokimura
0
360
Envoy External AuthZとgRPC Extensionを利用した「頑張らない」Microservices認証認可基盤
andoshin11
0
220
より快適なエラーログ監視を目指して
leveragestech
4
1.3k
DevRelの始め方
moongift
PRO
1
280
Featured
See All Featured
Ruby is Unlike a Banana
tanoku
96
11k
Unsuck your backbone
ammeep
667
57k
Intergalactic Javascript Robots from Outer Space
tanoku
268
26k
From Idea to $5000 a Month in 5 Months
shpigford
379
46k
Web development in the modern age
philhawksworth
204
10k
The Cult of Friendly URLs
andyhume
76
6k
Producing Creativity
orderedlist
PRO
340
39k
Design by the Numbers
sachag
277
19k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
103
48k
Thoughts on Productivity
jonyablonski
66
4.2k
RailsConf 2023
tenderlove
28
800
Transcript
検索失敗率のモニタリングから 改善まで 2024/5/31 Search Engineering Tech Talk 2024 Spring NewsPicks
エンジニア / 崔 井源
崔 井源(ちぇ じょんうぉん) 自己紹介 • 韓国ソウル特別市出身 • 2020年に奈良先端科学技術大学院大学で修士課程を修了 • 2020年にNewsPicksに新卒入社
• 検索システムの開発を主に担当 (検索データの整形、インフラの開発・改善、検索機能の改 善など) 2 @jonlpstudy
3 検索失敗をモニタリングする | 01 |
課題を発見する 検索失敗モニタリング • ユーザーや社内からの要望 • ユーザーリサーチ、ユーザーインタビュー ▪ 要望にはない課題を発見できる ▪ ユーザーの行動(使っている、使っていないなど)の理由が分かる
• データ分析 ▪ 要望にはない課題を発見できる ▪ アドホックな(その場限りの)分析 ▪ 継続的な分析(モニタリング) 4
検索失敗とは 検索失敗モニタリング 「検索する」ということは、積極的に探したいものがあるということ。検索結果が表示されても、何も(記事や動 画)開かずに離脱したのであれば「検索に失敗している」とみなす。 5
検索失敗の例 検索失敗モニタリング 1. プッシュ通知の文言で検索して失敗 • 通知文言: 組織マネジメントに活かせる「なんでなんでゲーム」とは? • タイトル: 組織成長を加速させる「リフレクション」の扉
6
検索失敗の例 検索失敗モニタリング 1. サムネイル画像の言葉で検索して失敗 • サムネイル文言: 「ホリエモン大絶賛 小学生起業家の神プレゼン」 • タイトル:
メイクマネー U-24【前編】 7 ユーザは「ホリエモン 神プレゼン」 などと検索して失敗した
検索失敗の例 検索失敗モニタリング 3. 古いが人気のあるコンテンツを探したいが、見つからず失敗 • 9,000Pickを超えるほどの人気記事 • 「おすすめ順」の検索結果はPick数よりも公開日を重視するロジック • 1年以上経つと検索結果の上位に表示されないので探せない
8
9 検索失敗をもとに改善する | 02 |
DBに「検索用のキーワード」フィールドを設ける 検索改善の施策 プッシュ通知時に自動的に文言を「検索用キーワード」として登録し、検索できるようにすることで検索結果に ヒットさせる。コンテンツ制作チームでヒットして欲しいキーワードを手動で登録することも可能にすること で、内部で結果をコントロールできるようにした。 10 内部のデータ 検索結果
検索ホーム画面を作る 検索改善の施策 そもそもプッシュ通知されたコンテンツの検索件数や失敗率が高いのは、通知され たコンテンツをアプリで見つけることが難しいから。 であれば、検索する前段階で「ここにあるよ!」と教えた方がいいのではないか。 • プッシュ通知した記事を最上位に配置し、通知をタップしても探しやすくするこ とで、検索しなくてもアクセスできるように改善 ◦ プッシュ通知関連の検索件数が減少した
• 常に多く検索される「WEEKLY OCHIAI」や「HORIE ONE」を上位に配置するこ とで、検索しなくても最新話にアクセスできるように改善 ◦ ファーストビューに見えるコンテンツ関連の検索件数が減少した 11
ランキングロジックを改善 : 人気のコンテンツを上位に表示する 検索改善の施策 改善前の記事検索ロジックは公開日順の傾向が強かった。 NewsPicksのコンテンツは、ユーザがブックマーク1)・おすすめ2)・コメント3)をすることができ、それらで表す 「Pick数」がそのコンテンツの人気度合いを表す。改善後のロジックは以下のような加算と減衰を行い、「公開し てからの経過日数」と「人気度合い(Pick数)」をバランスよく考慮した順序にしている。 12 1)
他ユーザには非公開に保存するためのリアクション 2) フォロワーなどにおすすめするためのリアクションで、旧Pickのコメントなしバージョン 3) コメントをするリアクションで、旧Pickのコメントありバージョン • Pick数が多いほど加算 • 古い記事ほど減衰 想定イメージ • 0日後の1Pick = 100日後の10Pick • 0日後の10Pick = 100日後の100Pick • 0日後の100Pick = 100日後の1000Pick
13 まとめ | 03 |
まとめ 毎週検索失敗率モニタリングを行うことで、ユーザが現在困っているポイントにすぐ気づくことができた。 それらをもとにいろんな改善を行い、ユーザが探したいコンテンツに出会える機会を増やすことができた。 • プッシュ通知文言で探せない問題 ⇒ DBに「検索用キーワード」フィールドを設け、検索にヒットさせる ⇒ 検索の最初の段階に見せる「検索ホーム画面」を作り、通知済みコンテンツを検索しなくても探せるよう にする
• サムネイル画像のテキストで探せない問題 ⇒ コンテンツ制作チームが手動で「検索用キーワード」を登録し、検索にヒットさせる (自動化は課題として残っている) • 人気のある古いコンテンツが探せない問題 ⇒ 「おすすめ順」を、「公開順」X「人気順」のランキングにする 14
最後までご清聴ありがとうございました。 Thank you 15