LLMは麻雀を知らなすぎるから俺が教育してやる

LayerXの機械学習チームでMLOpsをやっています。今回はLLMが苦手な麻雀点数計算問題生成タスクの精度を33%から90%に上げた話をします。この話から次のことが学べます。

* 「無数の選択肢の組み合わせを考えるタスクだが、正解は検証できる」という特性を持つタスクの精度を上げるノウハウ。
* 実際のMulti Agentの実装方法

Transcript

1. )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO --.͸ຑ੃Λ஌Βͳ͗͢Δ͔Β Զ͕ڭҭͯ͠΍Δ ˝ %":
   
   501*$
   "*
   GPS
   GVO
2. )JSPNV
   /BLBNVSB )JSPNV
   /BLBNVSB QPSJO .-0QT
   &OHJOFFS
   
   *OUFSFTUJOH
   JO
   *OGPSNBUJPO
   3FUSJFWBM
3. .VMUJ
   "HFOUͰ೉͍͠ࢦࣔͷਖ਼ղ཰Λ
   ͔Βʹ্͛ͨ࿩Λ͠·͢ ɻ 1 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO
4. ৽͍͠Ϟσϧ͕ग़ͨͧʂʂʂ 2 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO
5. 3 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO ຑ੃ͷ఺਺ܭࢉ໰୊Λ࡞ͬͯ΄͍͠Ͱ͢ ɻ
   ᠹූ͕౴͑ʹͳΔ໰୊Λ࡞੒͍ͯͩ͘͠͞ɻ .F
6. 4 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO ຑ੃ͷ఺਺ܭࢉ໰୊Λ࡞ͬͯ΄͍͠Ͱ͢ ɻ
   ᠹූ͕౴͑ʹͳΔ໰୊Λ࡞੒͍ͯͩ͘͠͞ɻ $MBVEF
   4POOFU
    .F ࢛҉ࠁ୯ٍ΍Μ͚ .F
7. 5 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO --.͸ຑ੃఺਺ܭࢉ͕ۤखɻ
   ໰୊ੜ੒ͱͳΔͱঘߋɻ
   ΈΜͳʹ΋ຑ੃఺਺ܭࢉͷ೉͠͞ Λମײͯ͠΄͍͠ˠ https://mj-station.net/column/110hu/
8. 6 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO --.ʹຑ੃఺਺ܭࢉϧʔϧͱߟ͑ํΛڭ͑ͯΈΔ࣮ݧ
9. w ;FSP4IPU
   w $IBJOPGUIPVHIU
   
   3VMF
   w 3VMF͸ຑ੃ͷ఺਺ܭࢉʹඞཁͳϧʔ ϧΛશͯϓϩϯϓτʹ౉ͨ͠΋ͷ 7 )JSPNV
   /BLBNVSB
   
   #FU
   "*
   %BZ
   
   %BZT
   -5
   "*
   GPS
   'VO ൺֱख๏ w (FNJOJ
   
   'MBTI
   w $MBVEF
   4POOFU
   
   w %FFQ4FFL
   $IBU Ϟσϧ
10. w ਖ਼ղ཰ "DDVSBDZ
    w Ϣʔβʔͷࢦࣔʹैͬͨ౴͑Λ࣋ͭ ໰୊Ͱׂ͋ͬͨ߹ɻ఺਺ܭࢉ͸ग़ྗ ͞Εͨ+40/ͱ఺਺ܭࢉϞδϡʔϧ Ͱݕূɻ 8 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO ධՁࢦඪ w खಈͰ࡞੒ͨ͠ࢦࣔจΛݸ༻ҙ
    w શͯʮNᠹOූ͕౴͑ʹͳΔຑ੃ ఺਺ܭࢉ໰୊Λग़͍ͯͩ͘͠͞ʯ ͱ͍͏ܗࣜ σʔληοτ
11. 9 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO --.ͷຑ੃఺਺ܭࢉ໰୊ਫ਼౓ൺֱ NPEFM
    
    
    
    
    
    
    
    
    
    .FUIPE "DDVSBDZ %FFQ4FFL
    $IBU ;FSPTIPU  $IBJOPGUIPVHIU
    
    3VMF  $MBVEF
    4POOFU
    
    ;FSPTIPU  $IBJOPGUIPVHIU
    
    3VMF  (FNJOJ
    
    'MBTI
    
    
    
    
    
    ;FSPTIPU  $IBJOPGUIPVHIU
    
    3VMF 
12.  ຑ੃఺਺ܭࢉϧʔϧࣗମ͕௒ෳࡶɻҰൃͰਖ਼͍͠໰୊Λग़ͤ͞Δͷ͸೉͍͠ɻ
     ධՁͷͨΊʹཁٻ͢Δ+40/ࣗମ͕ෳࡶ
     ख഍ߏ੒ϧʔϧ FY
    ΧϯΛ͍ͯ͠ΔͳΒख഍ͷϦετ௕͕૿͑Δ
     ఺਺ܭࢉͷඞਢϧʔϧ FY
    ໐͍͍ͯΔͳΒϦʔν͸5SVFʹͰ͖ͳ͍
     ਺ଟ͘ͷΦϓγϣϯ FY
    ྮ্։Ֆ 10 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO ײͨ͡λεΫͷ೉͠͞
13. ྫ
    ίʔσΟϯά
    ॻ͖ํ͸͍͘ΒͰ΋͋Δ͕ɺ݁Ռ͸ςετͰݕূͰ͖Δɻ
    ྫ
    ग़ுύλʔϯผɺ༧ࢉͳͲෳࡶͳ৚݅Λߟྀͨ͠ϗςϧ Ҡಈํ๏ఏҊ
    
    ࠷ऴత ʹͦΕΒ͕৚݅ʹ߹͍ͬͯΔ͔͸ݕূՄೳɻ ύλʔϯ͸ແ਺ʹ͋Δ͕ɺͦΕ͕ਖ਼͍͔͠͸ݕূͰ͖Δɻ 11 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO վΊͯߟ͑ΔλεΫͷಛੑ
14. w ࢦࣔʹ߹͏໰୊Λੜ੒Ͱ͖Δ·Ͱݕূमਖ਼͢ΔΑ͏ʹ͢Δ
    w ʮύλʔϯ͸ແ਺ʹ͋Δ͕ɺͦΕ͕ਖ਼͍͔͠͸ݕূͰ͖Δʯͱ͍͏ಛੑͷͨ Ί༗ޮ
    w ग़ྗܗࣜͷݕূमਖ਼ʹ΋༗ޮ 12 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO ਫ਼౓Λ্͛Δํ਑
15. *UFSBUJWF
    3FGJOFNFOU
    1BUUFSO
    13 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO ݕূͯ͠मਖ਼͢ΔϧʔϓΛճ͢ϚϧνΤʔδΣϯτύλʔϯɹ
16. 14 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO (PPHMF
    "HFOU
    %FWFMPQNFOU
    ,JU -PPQ
    "HFOU 6TFS 3F fi OFNFOU
    "HFOU 
    IBO
    
    IV 0VUQVU
    3F fi OFNFOU
    "HFOU 3FBVMU
    +40/ 5PPM 4VC
    "HFOU 7BMJEBUJPO
    "HFOU -PPQ
    "HFOU 4DPSF
    7BMJEBUJPO
    5PPM (FOFSBUJPO
    "HFOU 0VUQVU
    7BMJEBUJPO
    5PPM 0VUQVU
    7BMJEBUJPO
    "HFOU ໰୊Λ࡞੒ ໰୊Λ఺਺ܭࢉUPPMͰݕূ 7BMJEBUJPO
    "HFOUͷࢦఠ͔Βɺ໰୊Λमਖ਼͢Δ 7BMJEBUJPO
    "HFOUͷࢦఠ͔Βɺग़ྗΛमਖ਼͢Δ ग़ྗܗ͕ࣜਖ਼͍͔͠UPPMͰݕূ 0VUQVU
    (FOFSBUJPO
    "HFOU ग़ྗΛ࡞੒
17. 15 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO --.ͷຑ੃఺਺ܭࢉ໰୊ਫ਼౓ൺֱ NPEFM
    
    
    
    
    
    
    
    
    
    .FUIPE "DDVSBDZ (FNJOJ
    
    'MBTI
    
    
    
    
    
    ;FSPTIPU  $IBJOPGUIPVHIU
    
    3VMF  .VMUJ
    "HFOU
    *UFSBUJWF
    3FGJOFNFOU 
18. ·ͱΊ 16 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO w .VMUJ
    "HFOUͰਫ਼౓Λ
    
    ·Ͱ্͛Εͨʂ
    w ͨͩϨεϙϯελΠϜ͕ѱԽɻ͍͍ͩͨ໰ੜ੒ʹd෼͔͔Δɻ
    w ύλʔϯ͕ແ਺ʹଘࡏ͢Δ͕ɺͦΕ͕ݕূͰ͖Δ৔߹ɺ--.ಉ࢜Ͱݕ ূमਖ਼Λճ͢ػߏΛ࠾༻͢Δͱྑ͍ɻ
    
19. 17 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO ࠓճ঺հ࣮ͨ͠૷Ҏ֎ʹ΋৭ʑͳ࣮ݧΛ͠·ͨ͠ 3F"DU΍ɺ4VQFSWJTPS
    "HFOU
    QBUUFSOʜ
20. 18 )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO "*ք۾͸·ͩϕετϓϥΫςΟεΛ໛ࡧதʜ
    ਖ਼ղ͕ͳ͍͔Βָ͍ͦ͜͠ʂʂ
21. )JSPNV
    /BLBNVSB
    
    #FU
    "*
    %BZ
    
    %BZT
    -5
    "*
    GPS
    'VO --.͸ຑ੃Λ஌Βͳ͗͢Δ͔Β Զ͕ڭҭͯ͠΍Δ ˝ %":
    
    501*$
    "*
    GPS
    GVO