Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
Search
Livesense Inc.
PRO
May 11, 2023
0
1.2k
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
Livesense Inc.
PRO
May 11, 2023
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
730
26新卒_総合職採用_会社説明資料
livesense
PRO
0
1.1k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
8.3k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
4.6k
中途セールス職_会社説明資料
livesense
PRO
0
140
EM候補者向け転職会議説明資料
livesense
PRO
0
54
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
170
株式会社リブセンス マッハバイト_プレイブック
livesense
PRO
0
710
Tech Award 2021 選出方法
livesense
PRO
0
1.2k
Featured
See All Featured
It's Worth the Effort
3n
183
27k
Agile that works and the tools we love
rasmusluckow
327
21k
Testing 201, or: Great Expectations
jmmastey
38
7.1k
A Philosophy of Restraint
colly
203
16k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Automating Front-end Workflow
addyosmani
1366
200k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
700
The Cost Of JavaScript in 2023
addyosmani
45
6.7k
The Pragmatic Product Professional
lauravandoore
31
6.3k
Designing for Performance
lara
604
68k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
Transcript
Copyright © LIVESENSE Inc. 転職会議でGPT-3を活用した 企業口コミ要約機能を リリースした話
自己紹介 落合 隆行(Takayuki Ochiai) • 株式会社リブセンス転職会議事業部のエンジニアリング マネージャー兼エンジニア • 今回は本機能の開発担当者として喋ります
• 略歴) – SIerで通販事業者向けECパッケージの開発 – アドテクの会社で管理画面や配信サーバーの開発 – リブセンスで開発したりマネージャーやったり
そもそも転職会議とは? • 要は転職希望者向けの企業の口コミサイト • 仕事探しにおける情報の非対称性をなくし、転職におけ るミスマッチを解消することでより多くの人が納得できる 転職を実現できるようなサイトを目指している
企画立案に至った背景 • 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコ ストで文書要約したコンテンツを提供することはできていない」という課題感があった ◦ 転職の口コミは超重要ですが、数が多いと読みきれない ◦ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い
企画立案に至った背景 • OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大 きく下がった • なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした ◦ リブセンスでは越境文化がありエンジニアも企画提案大歓迎(ダイマ)
作った機能 • URL(SP版で先行リリース) – https://jobtalk.jp/companies/4075 – 現在A/Bテスト中なので見れない人いるかも –
QRコードは↓ • プレスリリースはこちら – https://prtimes.jp/main/html/rd/p/000000156.0000154 43.html
作った機能 • 現在、約6000社分の口コミ要約を公開中 – 発表時点では会員登録しないと読めないようになってい る • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3 週間ほどでリリースできた
機能があるページへのQRコー ド(再掲)
本番に組み込むにあたっての苦労話・工夫 • 今回紹介するのは4点 – 出力フォーマットが統一されない – 入力する必要がある文字数多すぎぃ! – 出力される文字数がバラつく問題 –
入力したデータの要約でも捏造・架空情報には注意
出力フォーマットが統一されない • お困りごと – 普通の文書で出力される場合と箇条書きで出力される場合がある – 良い点と悪い点が脈絡なく出力される • やったこと –
基本に忠実に、プロンプトエンジニアリングする • 良い点と改善点を分けて、箇条書きで出力しろって言う • プロンプトで要約結果の返却方式を明示的に指定する
入力する必要がある文字数多すぎぃ! • お困りごと – 現状、gpt-3.5-turboエンジンの1リクエストあたりの入出力最大 token数は4096tokens • 日本語にすると、入出力結果合わせて3000字ぐらいしないとし んどい •
転職会議の口コミは1つ当たり大体150字以上 • 直近の口コミだけ要約するとしても少ない • 口コミカテゴリの偏りなども懸念される
入力する必要がある文字数多すぎぃ! • やったこと – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価と しての要約を作成 – 直近はgpt-4-32kエンジンが公開されたが……… • まだWaitlistに入っていてずっとinviteされない
• そもそもお値段が非常に高い(1Kトークンあたりの価格が gpt-3.5-turboの60倍)………
出力される文字数がバラつく問題 • お困りごと – プロンプトでは700文字以内に要約しろって言ってるのだが、いうこと を聞いてくれない – 実際は結構バラつく(我々のユースケースだけ…?) • 1000文字以上出力してくるとかざらでしんどい
出力される文字数がバラつく問題 • やったこと – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と 悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消して はいない) • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなる ところで消えることがないから
• そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑 – ↓いやあなた、75文字やから!!! – プロンプトが悪いだけ説はある
入力したデータの要約でも捏造・架空情報には注意 • お困りごと – ChatGPTの仕組み上、架空情報が生成される可能性もある • 特に情報が少ない項目については発生しやすい可能性がある • やったこと –
情報が少ないカテゴリ・会社についてはそもそも要約しない – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加 えることで予防 – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと 読もう – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビュー することをお勧めしている
宣伝させてください! • 開発秘話はブログにも書いたから見 てくれよな!!! – https://made.livesense.co.jp/ent ry/2023/03/23/160000 – はてブやリツイートを!!!なに とぞ!!!
宣伝させてください! • リブセンスや転職会議ではエンジニ アを募集中です! – 採用候補者様向け資料みて ね!