RAGアプリにおけるプロンプトとtemperatureの応答品質への影響ほんとのところ/the real case about temperature and template language

2023.6.26 「AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜」で話した内容です。

Transcript

1. 3"(ΞϓϦʹ͓͚Δϓϩϯϓτͱ UFNQFSBUVSFͷԠ౴඼࣭΁ͷӨڹ ΄Μͱͷͱ͜Ζ  αΠμεऔక໾$50 ٢ాਅޗ
2. 吉田真吾 AWS Serverless Hero n p Oracle SA p 113 / pAWS n ( ) CTO p SaaS ( ) pAWS DevOps n pAWS (2012 ) pAWS Samurai 2014 / 2016 pAWS Serverless Hero AWS AWS Lambda Amazon S3 ChillOutMix
3. 3"( ݕࡧ֦ுੜ੒ ΞϓϦ ʮ$:%"4
   1&01-&ʯʹɺࣾһ͔Βͷ໰͍߹ΘͤʹࣗಈͰ౴͑Δ$IBU(15ػೳʮ$:%"4
   1&01-&
   $PQJMPU
   $IBUʯ https://www.cydas.co.jp/news/press/202304_people-gpt/
4. ⾃社のFAQをベクターデータ化 ChatGPTで回答に利⽤ ਓࣄ'"2ˍ໰͍߹ΘͤཤྺΛϕΫλʔσʔλԽ
7. ຊ൪ϦϦʔεʹΉ͚ͯ σϞͷഒҎ্΍Δ͜ͱ͕͋Δ
8. ຊ൪༻ͷ--.ΞϓϦέʔγϣϯΛͭ͘Δ --.ͰΫʔϧͳ΋ͷΛ࡞Δͷ͸؆୯͕ͩຊ൪Ϩϕϧͷ΋ͷΛ࡞Δͷ͸ඇৗʹ೉͍͠  ՝୊ͱղܾࡦ  ࣗવݴޠͷ͍͋·͍͞ ܾఆ࿦తͰͳ͍)ʹΑΔ69ෆ੔߹ ˠ UFNQFSBUVSFɺϓϩϯϓτ࠷ద Խɾόʔδϣχϯά؅ཧ  ίετͱϨΠςϯγʔ ˠ
   ਪ࿦ʹ࢖͏ϞσϧબఆɺτʔΫϯ਺ͷௐ੔ɺ ݱঢ়͸ ϨΠςϯ γʔղੳ  ϓϩϯϓςΟϯά 
   ϑΝΠϯνϡʔχϯά 
   ͦΕҎ֎ • ϓϩϯϓτνϡʔχϯάɿ&NCFEEJOHTΛೖΕସ͑Δ 044ͰͷΈՄೳ • ϑΝΠϯνϡʔχϯάɿλεΫʹ࠷దԽͤ͞ΔͨΊͷαϯϓϧ͕ੑೳʹӨڹˠ͕ɺ͋·Γظ଴Ͱ͖ͳ͍ • ৠཹϑΝΠϯνϡʔχϯάɿ5FYUEBWJODJ େ Ͱ--B." খ ͷνϡʔχϯάʹ࢖͏ˠ"MQBDB খ • &NCFEEJOHT
   
   ϕΫλʔετΞɿ'FXTIPUT  ޙํޓ׵ੑͱલํޓ׵ੑ • ৽͍͠Ϟσϧ͸શମతʹ༏ΕͯΔ͔΋͠Εͳ͍͕ɺྼ͍ͬͯΔϢʔεέʔε΋͋Δ͸ͣ • લͷϞσϧʹରͯ͠͏·͘ಈ͍͍ͯͨϓϩϯϓτ͕͏·͘ಈ͔ͳ͍৔߹ɺͲΜͳҙਤͰϓϩϯϓτ͕νϡʔ χϯά͞Ε͍ͯΔ͔ ढจ 
   όουϓϥΫςΟε Θ͔Βͳ͘ͳΔ IUUQTIVZFODIJQDPNMMNFOHJOFFSJOHIUNM
9. Ԡ౴඼࣭Λ҆ఆͤ͞Δ  UFNQFSBUVSF  ϓϩϯϓτνϡʔχϯά
10. UFNQFSBUVSF͸3"(ͷԠ౴඼࣭ʹͲͷ͘Β͍Өڹ͢Δͷ͔ʁ • Թ౓ɿੜ੒͞ΕΔςΩετͷʮ૑଄ੑʯ·ͨ͸ϥϯμϜੑΛ੍ ޚ͢ΔύϥϝʔλʔͰ͋Δ GPT-3Ҏ߱ • Թ౓͕ߴ͍ FY
    0.7 ˠΑΓଟ༷Ͱ૑଄తͳग़ྗ • Թ౓͕௿͍ FY
    0.2 ˠΑΓܾఆ࿦తͰूதతͳग़ྗ • top_pαϯϓϦϯά ίΞαϯϓϦϯά ͱͷซ༻͸ඇਪ঑ https://platform.openai.com/docs/api-reference/chat Ϣʔεέʔε Թ౓ આ໌ ίʔυੜ੒  ཱ֬͞Εͨύλʔϯͱ׳शʹैͬͨίʔυΛੜ੒͢Δɻग़ྗ͸ΑΓܾఆ࿦తͰয఺Խ͞ΕΔɻߏจతʹਖ਼͍͠ίʔυ Λੜ੒͢Δͷʹ໾ཱͭɻ ΫϦΤΠςΟϒɾϥΠ ςΟϯά  ετʔϦʔςϦϯάͷͨΊͷ૑଄తͰଟ༷ͳςΩετΛੜ੒͢ΔɻΞ΢τϓοτ͸ΑΓ୳ࡧతͰɺύλʔϯʹΑΔ੍ ໿͕গͳ͍ɻ νϟοτϘοτԠ౴  Ұ؏ੑͱଟ༷ੑͷόϥϯεͷͱΕͨձ࿩Ԡ౴Λੜ੒͠·͢ɻΞ΢τϓοτ͸ΑΓࣗવͰັྗతɻ ίʔυɾίϝϯτੜ੒  ΑΓ؆ܿͰద੾ͳίʔυίϝϯτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰɺن໿ΛकΔɻ σʔλ෼ੳεΫϦϓτ  ΑΓਖ਼֬Ͱޮ཰తͳσʔλ෼ੳεΫϦϓτΛੜ੒͠·͢ɻग़ྗ͸ΑΓܾఆ࿦తͰूதతͰ͢ɻ ୳ࡧతͳίʔσΟϯά  ୅ସҊ΍૑଄తͳΞϓϩʔνΛ໛ࡧ͢ΔίʔυΛੜ੒͢Δɻط੒ͷύλʔϯʹͱΒΘΕͳ͍Ξ΢τϓοτ https://community.openai.com/t/cheat-sheet-mastering-temperature-and-top-p-in-chatgpt-api-a- few-tips-and-tricks-on-controlling-the-creativity-deterministic-output-of-prompt-responses/172683
14. ࣭໰ɿ ITύεϙʔτΛडݧ͠Α͏ͱࢥ͍·͢ɻิॿ͸ग़·͔͢ ݕࡧ݁Ռɿ Document(page_content='ITύεϙʔτͷࢿ֨ͷิॿ͸Ͱ·͢ ͔ʁ ¥n¥nδϣϒΧϯͰʮҰൠܦඅࢧग़ਃ੥ʯͱͯ͠ਃ੥Λ ͢Δ͜ͱɻͦͷࡍ࣍ͷ߲໨͸ඞਢͳͷͰೖྗ͢Δ͜ͱɻෆ໌఺͕ ͋Ε͹؅ཧ෦·Ͱ࿈བྷ͢Δ͜ͱɻ¥nᶃਃ੥λΠτϧ¥nᶄ؅ཧ߲ ໨¥nᶅඅ༻ൃੜ෦໳¥nᶆࢧ෷ઌ໊¥nᶇൃੜ݄ɻ¥n ', metadata={'@search.score': 4.32952, 'rid': 'WGxwaUFOWU4xaG9IQUFBQUFBQUFBQT090'}),
16. ϓϩϯϓτνϡʔχϯάʹΑΔߩݙ  ;Δ·͍ͷࢦఆʹΑΔมԽ  ϓϩϯϓτΛ೔ຊޠͰॻ͘৔߹ӳޠͰॻ͘৔߹
17. ;Δ·͍Λࢦఆ͠ͳ͍ 以下のチャット履歴を参考に質問に答えてください。 ---- {retrieval} ---- 以下の質問に⽇本語で答えてください。 {question} ݁Ռ͸͋·ΓมΘΒͳ͍͕ɺճ౴ͷ࣭͸ Ή͠ΖԹ౓͕ߴ͍΄͏͕ྑ͍
18. ;Δ·͍Λࢦఆ͢Δ あなたの名前はPEOPLE Copilot Chatです、あなたは以下のようなチャット履歴で従業員の質問に答えるHRエージェントです。 ---- {retrieval} ---- 上記の知識を⽇本語で考えながら、以下の質問に答えてください。 ただし、参考にする知識がない場合は、"その件については存じ上げませんので⼈事に直接お問い合わせください。"と回答してください。 {question} ճ౴ͷ࣭͕ٯసɺԹ౓͕௿͘ ͯ΋۩ମతͳखଓ͖ํ๏·Ͱ Ԡ౴Ͱ͖͍ͯΔ
19. ϓϩϯϓτΛӳޠʹ͢Δ Your name is PEOPLE Copilot Chat, you are an HR agent that answer via employees's questions with chat history like below. ---- {retrieval} ---- Please answer the question below with thinking about the knowledge above in Japanese. But if you have no knowledge to refer to, you can answer with "その件については存じ上げませんので⼈事に直接お問い合わせください。". {question} UFNQFSBUVSFʹؔΘΒͣɺΉ͠Ζճ౴ͷ࣭͕Լ͕ͬͨ खଓ͖ํ๏͕Ҋ಺͞Εͳ͘ͳͬͨ
20. ݁࿦ • ଞͷ--.ΞϓϦͷ࠷దԽख๏͕ࣗ෼ʹ΋ສೳͱ͸͔͗Βͳ͍ • ୺తͳճ౴Λੜ੒͢Δ3"(ΞϓϦͰ͑ࣔͨ͞͠ͱ͓Γ • UFNQFSBUVSFͰճ౴Λܾఆతʹ͢Δ❌ˠӨڹܰඍʗٯʹߴΊͷ΄͏͕ ճ౴ͷ࣭͕ߴ·ΔՄೳੑ͋Γ • ϓϩϯϓτ͸ӳޠͷ΄͏͕಄͕ྑ͍❌ˠ೔ຊޠͷ΄͏͕࣭໰ͷҙਤɾ ճ౴ͷஸೡ͞Λ࠶ݱͰ͖Δ৔߹͋Γ • ຐ๏ΛՊֶʹண஍ͤ͞Δʹ͸؍ଌͱΤϏσϯε • 8FCΞϓϦͱಉ౳ͷे෼ͳςετ࣮ࢪ • ύϥϝʔλ΍ϓϩϯϓτςϯϓϨʔτͷόʔδϣϯ؅ཧ