GPT 生成物の評価、運用 toC 企画でのハードルと勘所

PDF 版: https://s.aho.mu/230609-use-gpt-in-production.pdf

【LegalOnに聞く】ChatGPTを活用したプロダクト開発〜本番運用のハードルとは〜 （2023.06.09）
https://offers.connpass.com/event/284100/ で使用したスライドです。本編 10 分。

=====

▼ 元の企画

[ChatGPT先生のわくわくITアニマル占い | Offers「オファーズ」 - ITエンジニア／デザイナーの副業・転職サービス](https://offers.jp/animal_fortune)

Transcript

1. GPT ⽣成物の評価、運⽤ toC 企画でのハードルと勘所 2023.06.18 - ChatGPTを活⽤したプロダクト開発 〜本番運⽤のハードルとは
2. • Web フロントエンドエンジニア/マネージャー ◦ 専⾨は Web UI の開発、設計、品質向上 ◦ 愛知から東京資本のリモートワーク8年⽬ ◦ 出張ついでに池袋かるまる♨がマイブーム • 株式会社 overflow ◦ マネージャー / VPoE ▪ Dev 組織開発、各種の戦略⽴案 ◦ Offers ▪ 採⽤担当者向け Web アプリ企画･開発 @ahomu
3. Corporate 会社概要 3 会社名 株式会社overflow 所在地 〒105-0001 東京都港区虎ノ⾨1-1-21 新虎ノ⾨実業会館5F 設⽴⽇ 2017年6⽉9⽇ Our vision “時間”をふやす ⾃分のための時間、友⼈との時間、家族との時間、仕事の時間。 ⼤切だと感じる時間は⼈それぞれですが、 時代やライフステージ、置かれた環境によって 時間の「価値」は⽇々変化していきます。 私たちは、本質的な時間の「価値」とは何かを⾒定め、 ⼈⽣の幸せな時間をふやす事業を展開していきます。
4. ITエンジニア∕デザイナーの 副業‧転職サービス Corporate サービス紹介
5. プロダクト開発組織の ⽣産性を最⼤化するサービス Corporate サービス紹介
6. 開発組織のための総合HR Tech Corporate
7. vs ユーモアの評価 vs ユーザーの期待値 vs 不適切なコンテンツ
8. 企画の概要 IT アニマルとは･･･
10. IN: Offers に登録された情報 OUT: 副業アピール + アニマル占い OpenAI API
11. Chat completionsを試しに サービスで使ってみよう ユーザーが好奇⼼をもって 触ってみてもらえるように 候補者ユーザーの 登録情報が増えるといいな 幾ばくかの 事業的な下⼼ AI ⽣成物を ユーザーに届ける試み 開発チームの 技術的な経験づくり 企画の意図
12. OpenAI API による成果物 ②動物占い (/chat/completion) • 動物名 • 占いテキスト • 動物名（英語） ①アピール⽂ (/chat/completion) • アピールポイント本⽂ ③動物画像 (/image/generation) • ITアニマル画像
13. 開発の経緯 • 時系列 ◦ 2⽉ごろ「うちも GPT で何か出しておきたいね」と経営会議でほんのり会話 ◦ 3⽉上旬「1スプリント(2週間) で出来る範囲でやってみるか〜」 ◦ 3⽉23⽇「ChatGPT先⽣のわくわくITアニマル☆占いをリリース」( PR TIMES ) • 体制と役割 ◦ PM (1名)、バックエンド実装 (1名) ◦ ｢ITアニマル画像｣ ⽣成プロンプト + デザイン (1名) ◦ ｢アピールポイント｣ ⽣成プロンプト (1名) ◦ ｢アニマル占い｣ ⽣成プロンプト + フロントエンド実装 + 企画進⾏ (わたし)
14. vs ユーモアの評価 ジョーク企画の矜持
15. SystemPrompt: 実在する動物に喩えて、 動物占いをしてください
16. チーターは、その美しい模様や躍動的な動きが魅⼒的な哺乳動物 です。その最⾼速度は時速約120kmにも達し、その素早さと⼒強 さは圧巻です。また、チーターはとても優雅で、優美な動きや柔ら かい⽑並みからも愛されています。さらに、獲物を狩る際は効率的 に狩りを⾏い、知恵も持ち合わせています。チーターのように、そ の美しさや⼒強さを持ち合わせ、さらに知恵を活かした効率的な 仕事を⼼掛ける姿勢は素晴らしいと⾔えます。 × 普通にチーターの説明をしている
17. 彼はGolang、Ruby、JavaScript、そしてPHPという複数のスキ ルを持つハイブリッド動物です。それらを組み合わせてアプリケー ションを構築し、バッチ処理やマイクロサービスの開発もお⼿の 物です。彼はRails、AngularJS、Vue.js、Laravelを含む多数のフ レームワークでの開発経験もあります。 この動物は、IT業界での ⾃分のアピールポイントを明確に⽰し、いろいろなスキルを⾝に 着け、IT業界のサバンナで⾃分の狩りを⾏っているのです。 × ⼊⼒になったテキストの単語を引⽤しているだけ
18. カンムリワシは⾃信に満ちた姿勢で常に周囲を⾒渡しており、デザ イナーとしても常にトレンドを追いながら、最新の情報を取り込ん だデザインを提供する姿勢にも共通性があります。更に、カンムリ ワシは地域によって⽣息数が異なるため、その場に合わせて適切な 戦略を取ることが求められますが、デザイナーとしてもクライアン トに合わせた最適なデザイン戦略を提供するため、適応⼒にも⻑ けていると⾔えます。 △ それっぽいけど堅いなぁ...
19. ヤマネコさんは、デザインの世界で⼤活躍！⼤胆なクリエイティブ で獲物のようにクライアントから引っ張りだこです。福岡でスキル を⾝につけ、上京してからも華麗なジャンプ⼒でシステム会社を⾶ び越え、独⽴してフリーの野良ヤマネコになりました。現在は企 業のプロダクトやバナーのデザインに、伸びやかなテールをフリ フリと振りながらクリエイティブに挑戦中！⾒た⽬の可愛さはもち ろん、使い⼼地も抜群のデザインを⽣み出します。 〇 なんとなくテンション⾼くてヨシ！
20. Evaluation: ⼊⼒5 × 出⼒10 = 50件ずつ⽣成 主観評価項⽬に沿って記録付け
21. 評価項⽬ 1. ユーモア ◦ ⽂⾯の雰囲気の愉快さ、トーンの軽さ 2. 正確性 ◦ ⽇本語のテキストとして不⾃然のなさ、流暢さ 3. ⾮引⽤度 ◦ 原⽂からスキル等の固有名詞を引⽤‧羅列しているだけになっていないか 4. 動物特定度 ◦ 多少こじつけでも動物への⽐喩が成⽴しているか ↑プロンプト本⽂、パラメータ、主観評価を記録して管理
22. vs ユーザーの期待値 AI との正しいお付き合い
23. SystemPrompt: 副業を募集するための アピール⽂を作成して
24. 結果の良し悪しは多少ムラが出る 登録情報が少ないと⼗中⼋九､悪い...
25. • 情報を⼊⼒することによる現在の期待値を可視化 • ⼊⼒が少ないと期待値が低いことをちゃんと伝える ユーザーも Offers も Win-Win な⼊⼒動機を演出
26. サービスで AI ⽣成物を取り扱う上での配慮 • 当企画に限らず AI の⽣成 結 果は利⽤前に⼈類が   ちゃんとレビューすべき • AI が誇張/捏造する可能性を 排除しきれないので    ⽣成されたアピール⽂の  直接反映は⾏わなかった
27. vs 不適切なコンテンツ 版権はダメだよ GPT さん！
28. アニマル枠で突如あらわれる █ █ █ ュウ､█ ッ █ー等の他社 IP
29. 困った • GPT は物知りなので、版権アニマル(?)を稀に出⼒してしまう ◦ ⼀応 temperature を下げれば限りなく減らせたが、ユーモアの幅と引き換え • プロフィールはユーザー⼊⼒であり、理屈の上では何でも⼊りうる ◦ ⾃分のプロフィールに変なテキストをいれるとは考えづらいとはいえ • hate/sexual/violence 以外の監視ポリシーも必要なことがある ◦ とはいえ開発⼯数の観点から⾃動化された監視は難しい部分も
30. 世界に名だたる最強法務部との 交戦は回避せねば
31. 裏側に⽣成結果の⾮公開操作を追加 • 不適切コンテンツを⽬視チェック ◦ 画像、テキスト共に何らか不適切な要素が含まれる 場合は⾮公開操作を可能にした ◦ 結果を再評価させるアプローチも試したが、試⾏時 の精度とレスポンス遅延を踏まえて⾒送り • ユーザー報告⽤の連絡先を設置 ◦ AI ⽣成を明⽰し、いわゆる通報の余地を設けた
32. まとめ
33. 今回ご紹介したこと • vs ユーモアの評価 ◦ 主観によるプロンプト評価の記録、チューニング⼿続きを整えた • vs ユーザーの期待値 ◦ 期待値コントロールを兼ねて、情報の追加⼊⼒の動機付けを演出した • vs 不適切なコンテンツ ◦ ⽣成されたコンテンツについて、監視および有事対応を可能にしておいた
34. ありがとうございました ITアニマル みんなも占ってみてね！