AIレシート読み取り機能をRuby on Rails on AWSで実現するLLMにまつわるアレコレ / AI-based receipt reading function powered by LLM on Ruby on Rails

株式会社スマートバンク主催の『やりたいことに対して「エンジニア」が足らんです！LT座談会』の資料です。

Transcript

1. "*ϨγʔτಡΈऔΓػೳΛ
   3VCZ
   PO
   3BJMT
   PO
   "84Ͱ
   ࣮ݱ͢Δ--.ʹ·ͭΘΔΞϨίϨ   
   ਫ
   ΍Γ͍ͨ͜ͱʹରͯ͠ʮΤϯδχΞʯ͕଍ΒΜͰ͢ʂ
   -5࠲ஊձ
   גࣜձࣾεϚʔτόϯΫ
   !NP[OJPO
2.  4NBSU#BOL
   *OD
   
   4PGUXBSF
   &OHJOFFS 5BJLJ
   ,BXBLBNJ
   !NP[OJPO !NP[OJPO !NP[OJPO !NP[OJPO
3. ݱঢ়ͷ#ͷΞʔΩςΫνϟ
4. 
5. ͜Ε͕͜͏
6.  "NB[PO
   #FESPDL --.
   $MBVEF
7.  "NB[PO
   #FESPDL --.
   $MBVEF ௚݁
8. ௚݁ʂʂ
9.  3BJMT
   "QQͱ#FESPDLΛ௚઀ܨ͗ࠐΜͰ͍Δ  --.Λ࢖͏ػೳΛ3BJMTϞϊϦε͔ΒผͷαʔϏεʹ੾Γग़͞ͳ͔ͬͨ
    -BOH$IBJO౳Λ࢖Θͳͯ͘΋ྑ͍ͱ͍͏൑அ
   
   طଘͷ3BJMTͰ0,
    ਪ࿦ॲཧʹҊ֎͕͔͔࣌ؒΒͳ͔ͬͨ
    --.ݺͼग़͠ΑΓ΋͕͔͔࣌ؒΔΤϯυϙΠϯτ͕طʹӡ༻͞Ε͍ͯΔ
    ΋ͪΖΜQVNBͷ͜ͱͳΜ͔Λߟ͑Δͱʮཧ૝తʯͰ͸ͳ͍͕ʜʜ
10. "NB[PO
    #FESPDLΛ࢖͏Ϟνϕʔγϣϯ
11.  #FESPDLΛ࢖͏Ϟνϕʔγϣϯͱ͸  ୺తʹݴ͏ͱʮ--.ج൫Ϟσϧ͕҆ఆӡ༻͞Ε͍ͯΔ͔Βʯ
     "1*ܦ༝Ͱ--.ͷϓϨΠϠʔͱܨ͗ࠐΉͱμ΢ϯ͍ͯ͠Δ͜ͱ͕͋Δ
     "OUISPQJD
    $MBVEF
    ͕αϙʔτ͞Ε͍ͯΔͷͰಛผͳෆຬ͸ແ͍
     ͱ͸͍͑0QFO"*ͷϞσϧΛ࢖͍͍ͨͷ͸ࣄ࣮ʂʂʂʂ
     "NB[PO
    /PWB͸׆༻Λݕ౼͍ͯ͠Δͱ͍͏ஈ֊
     ҰํͰ#FESPDLͷศརػೳΈ͍ͨͳ΋ͷ͸͋·Γར༻͍ͯ͠ͳ͍ʜʜ
12. 3BJMT
    ͱ͍͏͔3VCZ
    ಺ͷ--.
    "QQઃܭ
13.  ͬ͘͟ΓϨΠϠʔ  1SPNQU
     .PEFM
    *0
     $MJFOU "NB[PO
    #FESPDL $MJFOU .PEFM
    *0 1SPNQU .PEFM
    *0 1SPNQU
14.  1SPNQU  --.ʹ༩͑ΔೖྗϓϩϯϓτΛ࢘ΔϨΠϠ
     ͢ͳΘͪ
    ΍Γ͍ͨ͜ͱ
    ͦͷ΋ͷ
     ྫ
    ʮϨγʔτͷςΩετΛߏ଄Խͯ͠ʯ
     --.͔Βฦ٫͞ΕΔϨεϙϯεΛॴ๬ͷܗࣜʹNBQ͢Δ໾ׂ΋࣋ͭ
     ྫ
    ਪ࿦݁ՌΛಛఆͷEBUB
    NPEFMʹຒΊΔ
     ଞʹ΋ϓϩϯϓτ
    ͷςϯϓϨʔτ
    ͷϋογϡΛੜ੒͢Δͱ͍ͬͨ੹຿΋ 1SPNQU
15.  .PEFM
    *0  ۩ମతͳ--.ͷৄࡉΛ஌͍ͬͯΔϨΠϠ
     ೖྗ1BZMPBEͷఆٛ΍ɺύϥϝʔλ
    FH
    UPQ@Q
    ͳͲ
     1SPNQUΛಛఆͷ--.޲͚ͷϦΫΤετʹม׵ͯ͠$MJFOU
    ޙड़
    ʹҾ͖౉͠ɺ
    ݁ՌΛ1SPNQUͷNBQQFSʹద༻ͯ͠ੜ੒෺ΛಘΔͱ͍͏੹຿
     1SPNQUͱ$MJFOUͷதؒʹଘࡏ͢ΔετϥςδʔϨΠϠ
     ࠩ͠ସ͑ʹΑΓଞΛมߋ͢Δ͜ͱͳ͘ج൫ϞσϧΛ੾Γସ͑ΒΕΔ
    .PEFM
    *0 1SPNQU ૉੑΛ஌͍ͬͯΔ
16.  $MJFOU  "NB[PO
    #FESPDLΛհͯ͠--.ͱ௨৴͢ΔͨΊͷϨΠϠ
     ֓೦ͱͯ͠͸ΠϯϑϥϨΠϠʹ͍ۙ
     .PEFM
    *0Λड͚औΓɺͦΕ͕ߏங͢Δ1BZMPBEΛ࢖ͬͯ
    #FESPDL
    "1*Λݺͼग़͢͜ͱʹΑΓ݁ՌΛऔಘ͢Δ
     ࣮ଶ͸"XT#FESPDL3VOUJNF$MJFOUͷബ͍ϥούʔ $MJFOU .PEFM
    *0 1SPNQU ૉੑΛ஌͍ͬͯΔ
17.  ͦͷଞ͍Ζ͍Ζ
18.  ͦͷଞ͍Ζ͍Ζ  ೖྗͷલॲཧΛ͋Δఔ౓͔ͬ͠Γ΍Δ͜ͱʹΑͬͯ༳ΕΛܰݮ
     IUUQTHJUIVCDPNNP[OJPOOFPMPHEJTIOPSNBMJ[FSSVCZ
     Ϩγʔτதʹؚ·ΕΔΠϯϘΠεొ࿥൪߸Λ࢖ͬͯࣄۀऀΛಛఆ
     --.ʹ΍ΒͤΔͷͰ͸ͳ͘ਖ਼نදݱͷύϫʔͰ࣮ݱ
     ͳͲͳͲటष͍͜ͱ΋͔ͬ͠Γ΍ͬͯ·͢ʂ
19. ͱ͍͏ײ͡Ͱ΍͍ͬͯ·͢
20.  ΍ͬͨʙʙʙʙʙʙʙ  --.Ͱ΍ΕΔ͜ͱ͕૿͑ͨɺ͏Ε͍͠ʂʂʂʂ
     3VCZͰ΋
    JF
    3BJMTͰ΋
    --.Λ׆༻ͨ͠ϓϩμΫτ͸࡞ΕΔɺ΍ͬͨʙʂʂʂ
21. ͕ʜʜʂ
22.  ·ͩ·ͩ৭ʑ΍Γ͍ͨ  ͦͷҰํͰ
    ݱঢ়ͩͱ
    --.Ͱ΍Εͳ͍͜ͱ΋͋Δ
     طଘͷେن໛ͳσʔλΛ׆༻ͨ͠ࢪࡦ
     ίετͷ໰୊
     ͳͲͳͲʜʜ
     --.Ͱ΍ΓͭͭɺಛఆྖҬʹಛԽͨ͠/-1΍.-΋΍Γ͍ͨʂʂ
23.  ·ͩ·ͩ৭ʑ΍Γ͍ͨ  ΍Γ͍ͨ͜ͱ͸৭ʑ͋Γ·͢ʂʂʂ
     ͋·Γʹଟ͘ɺ༨ന͕଍Γͳ͍ͨΊ͜͜ʹ͸ॻ͚ͳ͍
     ͱ͸͍͑ɺਖ਼௚ʹݴ͏ͱઐۀݚڀऀʹ͸෺଍Γͳ͍͔΋ʜʜ
     αʔϏε։ൃΛ͠ͳ͕ΒεϖγϟϦςΟΛൃشͰ͖Δਓً͕͚Δͱࢥ͍·͢ʂ