RでLangChainっぽいことを やってる話【画像生成(猫)編】

230715 @ Tokyo.R 107th

今日のテーマは？？
・ RでLangChainっぽいこと
・ (サブ) GPT-4を使ったR関数の可視化
・ Rで画像生成(txt2img)した話

モチベーションは？？
・ できるだけ、R で完結したい。

今日話さないこと
・ 細かい実装の話
[ブログ記事] Rで、OpenAI APIの "DALL·E 2" モデルを使って『テキストから画像生成（txt2img）』を試してみた件
https://skume.net/entry/2023/07/15/024905#google_vignette

[GitHub] kumeS/chatAI4R
https://github.com/kumeS/chatAI4R

Transcript

1. !TLVNF 3Ͱ-BOH$IBJOͬΆ͍͜ͱΛ ΍ͬͯΔ࿩ʲը૾ੜ੒ ೣ ฤʳ 
   !
   5PLZP3 UI
2. ࣗݾ঺հ ٱถ ܛ࢚ ,VNF 4BUPTIJ
   !
   େࡕ৓ͷۙ͘ ઐ໳
   όΠΦΠϯϑΥ ੜ෺৘ใֶ ͱਓ޻஌ೳͬΆ͍͜ͱ ܦྺ
   ΞΧσϛΞݚڀऀ ๭3ݚڀॴ ೥ ɺେֶ ೥
   /&%0ϓϩ ݱࡏ
   %/"γʔέϯαʔΛചͬͯΔ֎ࢿͷϝʔΧʔ ೥͘Β͍ ۙگ
   3
   ͱ DIBU(15 
   --.
   Ͱ༡ΜͰָ͠ΜͰΔ ɾ 5PLZP3 ௌߨ ճ͘Β͍ɺॳൃද ೥݄Ҏ߱ ɾ $3"/
   
   #JPDPOEVDUPSύοέʔδ։ൃऀ ɾ #JPz1BDLzBUIPO όΠΦܥύοέʔδ։ൃऀձٞ
   ओ࠵ 3ྺ
   
   ೥͘Β͍
3. <+BQBO3 
   -5>
   (PPHMF*NBHF"SSBZύοέʔδ Λ࡞ͬͨ࿩ IUUQTHJUIVCDPNLVNF4(PPHMF*NBHF"SSBZ IUUQTDSBOSQSPKFDUPSHXFCQBDLBHFT(PPHMF*NBHF"SSBZJOEFYIUNM IUUQTTQFBLFSEFDLDPNTLVNFKBQBOSW ը૾ͷऔಘʢΞϨΠʣ ը૾Λ࣍ݩΞϨΠςϯιϧͱͯ֨͠ೲ ը૾਺
   ෯ϐΫηϧ਺
   ߴ͞ϐΫηϧ਺
   νϟωϧ਺ ՄࢹԽ දࣔ݁Ռ ˞
   YNMɺSWFTUɺ&#*NBHFɺS5FOTPSͱ͔Ͱ࣮૷
4. ࠓ೔ͷςʔϚ͸ʁʁ ɾ 3Ͱ-BOH$IBJOͬΆ͍͜ͱ ɾ αϒ
   (15Λ࢖ͬͨ3ؔ਺ͷՄࢹԽ ɾ 3Ͱը૾ੜ੒ UYUJNH ͨ͠࿩ ࠓ೔࿩͞ͳ͍͜ͱ ɾ ࡉ͔͍࣮૷ͷ࿩ ൃදޙɺεϥΠυڞ༗͠·͢ <ϒϩάهࣄ>
   3Ͱɺ0QFO"*
   "1*ͷ %"--u&
   
   ϞσϧΛ࢖ͬͯʰςΩετ ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅ <(JU)VC>
   LVNF4DIBU"*3 Ϟνϕʔγϣϯ͸ʁʁ ɾ Ͱ͖Δ͚ͩɺ3 Ͱ׬͍݁ͨ͠ɻ
5. -BOH$IBJOͱ͸ʁ ɾ (15ͳͲͷେن໛ݴޠϞσϧ --. ͷػೳΛ֦ுͰ͖Δ1ZUIPOϥΠϒϥϦ IUUQTHJUIVCDPNIXDIBTFMBOHDIBJO ɾ $POUSJCVUPST
   ӽ͑ͷڊେϓϩδΣΫτ  ։ൃίϯηϓτ͕͔ͳΓࢀߟʹͳΔ
6. -BOH$IBJOϓϩδΣΫτͷࣄྫ <ग़య>
   ;FOOهࣄ ·͢Έ!ΤϯδχΞ αΫοͱ࢝ΊΔϓϩϯϓτΤϯδχΞϦϯάʲ-BOH$IBJO 
   $IBU(15ʳ $IBQUFS
   
   -BOH$IBJOͷ֓ཁͱ࢖͍ํ IUUQT[FOOEFWVNJ@NPSJCPPLTQSPNQUFOHJOFFSWJFXFSMBOHDIBJO@PWFSWJFX
7. ։ൃதͷ3ύοέʔδΛ࢖ͬͯը૾ੜ੒ͨ͠ <(JU)VC>
   LVNF4DIBU"*3 DIBU"*3
   $IBUCBTFE
   "SUJGJDJBM
   *OUFMMJHFODF
   GPS
   3 %FW൛Πϯετʔϧ ࠓճ࢖͏3ؔ਺ͷΈͷΠϯετʔϧ࣮ߦ͢ΔεΫϦϓτ TPVSDF IUUQTHJTUHJUIVCVTFSDPOUFOUDPNLVNF4CBBCBDDEDCBGECFSBXC EEGDCGEDGDBGFHFOFSBUF*NBHF@GPS@HJTU3
8. "1*
   LFZ
   ͷઃఆ͸๨Εͣʹ <(JU)VC>
   LVNF4DIBU"*3 "1*
   LFZͷઃఆ
9. (15
   
   4,3*7&ϓϥάΠϯͰ ؔ਺ͷ࣮ߦϓϩηεΛՄࢹԽ <ϒϩάهࣄ>
   3Ͱɺ0QFO"*
   "1*ͷ %"--u&
   
   ϞσϧΛ࢖ͬͯʰςΩετ͔ Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅ HFOFSBUF*NBHF3ؔ਺ %JTQMBZؔ਺ %"--u&
   
   μϦ πʔ ͷ 8FC
   "1*Λ࢖༻ ˞
   QYը૾ੜ੒ຕ͋ͨΓ ໿ԁ ͔͔Γ·͢
10. ը૾ੜ੒ͷ࣮ࢪྫ  ࣗ࡞ϓϩϯϓτ
    XIJUF
    DBU
    JTMBOE
    TFB
    PDFBO
    KVMZ IPLLBJEP CFBS
    IBQQZ ೔ຊޠ༁
    നೣͷౡ ւ ւ ݄ ๺ւಓ ۽ ޾ͤ ࢄาͯͨ͠Β͍ͦ͏ͳೣ ΛεϚϗͯࡱӨ <ϒϩάهࣄ>
    3Ͱɺ0QFO"*
    "1*ͷ %"--u&
    
    ϞσϧΛ࢖ͬͯʰςΩετ͔ Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
11. ը૾ੜ੒ͷ࣮ࢪྫ  ϓϩϯϓτ
    lXIJUF
    DBU
    JTMBOE
    TFB
    PDFBO
    KVMZ IPLLBJEP CFBS
    IBQQZz
    Λೖྗ ςΩετʹͯ͠ɺ(15͕࡞੒ͨ͠ϓϩϯϓτ ·͔͞ͷೣ͕ઓ͍ग़͢ɻɻɻظ଴஋͕ߴ͔͚ͬͨͩʹɺ(15͘Μ͸ ૝૾Λ௒͍͖͑ͯ·͢Ͷɻ <ϒϩάهࣄ>
    3Ͱɺ0QFO"*
    "1*ͷ %"--u&
    
    ϞσϧΛ࢖ͬͯʰς Ωετ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅
12. ը૾ੜ੒ͷ࣮ࢪྫ  ϓϩϯϓτ
    lXIJUF
    DBU
    JTMBOE
    TFB
    PDFBO
    KVMZ IPLLBJEP CFBS
    IBQQZz
    Λೖྗʹɺ QIPUPSFBMJTUJDϓϥάΠϯ Ͱϓϩϯϓτੜ੒ͯ͠(15Ͱ࠷దԽͨ͠ϓϩϯϓτ <ϒϩάهࣄ>
    3Ͱɺ0QFO"*
    "1*ͷ %"--u&
    
    ϞσϧΛ࢖ͬͯʰς Ωετ͔Βը૾ੜ੒ʢUYUJNHʣʱΛࢼͯ͠Έͨ݅ .JEKPVSOFZ༻ 1IPUPSFBMJTUJDը૾ ͷϓϩϯϓτ࡞੒ࢧԉπʔϧ ΍΍ը࣭ѱͰ͕͢ɺࣸਅՈͬΆ͍ը૾ੜ੒ʹ੒ޭ͠·ͨ͠
13. &OKPZ
    3