LLMOpsのパフォーマンスを支える技術と現場で実践した改善

Transcript

1. )JSPNV
   /BLBNVSB
   
   QFSGUPLZP
    
   --.0QTͷύϑΥʔϚϯεΛࢧ͑Δٕज़
2. )JSPNV
   /BLBNVSB )JSPNV
   /BLBNVSB QPSJO "*.-0QT
   &OHJOFFS
   
   *OUFSFTUJOH
   JO
   *OGPSNBUJPO
   3FUSJFWBM
3. -BZFS9ͷ--.0QT
4. -BZFS9͸ݱࡏ"*
   "HFOUΛΰϦΰϦ ਐΊ͍ͯΔ https://layerx.co.jp/news/20250401/
5. --.0QT͸ॏཁج൫ ϓϩϯϓτόʔδϣϯ؅ཧ
   --.࣮ߦ࣌ͷτϨʔεͳͲͷΦϒβʔόϏϦςΟ
   Ϟσϧ͝ͱͷਫ਼౓ݕূ
   ධՁσʔληοτ؅ཧ
   ࣮ݧͷ؅ཧ
6. -BOHGVTFΠϯϑϥߏ੒ w Ϋϥ΢υ൛ͱηϧϑϗετ൛͕͋Δ
   w Ϋϥ΢υ൛͸೔ຊϦʔδϣϯ͕ͳ͘ɺσʔλ؅ཧͷ؍఺͔ΒηϧϑϗετΛબ୒
   w σʔλετΞͱͯ͠
   1PTUHSF42-
   4 $MJDL)PVTF Λ༻͍Δ
7. $MJDL)PVTFͱ͸ Φʔϓϯιʔεͷ෼ੳ޲͚
   0-"1
   ྻࢦ޲σʔλϕʔε
   -BOHGVTF
   τϨʔε݁Ռ౳ͷ֨ೲઌͱͯ͠ར༻
   ॻ͖ࠐ·Εͨσʔλ͸ϒϩοΫετϨʔδͰอ؅͞ΕΔ
   "84
   ͷ৔߹͸
   &#4
   ΍
   &'4
   ͳͲ
   ࠓճ͸
   &'4
   Λ࠾༻
   ෳ਺αʔόʹΑΔΫϥελߏ੒ʹରԠ
8. ΞʔΩςΫνϟ -BOHGVTF
   "-#
   ܦ༝ͷ
   &$4
   PO
   'BSHUFB
   ୯Ұͷ
   &$4
   4FSWJDFɺ"VUP
   4DBMJOH
   ༗ޮԽ
   $MJDL)PVTF
   /-#
   ܦ༝ͷ
   &$4
   PO
   'BSHUFB
   αʔό͝ͱʹݸผͷ
   &$4
   4FSWJDF
   Λ࡞੒
   ಺෦௨৴͸ϩʔυόϥϯαΛڬ·ͣ௚઀௨৴
9. ໰୊ͱվળ
10. ແࣄՔಇʂͱࢥͬͨΒʜ • ຖ೔ͷΑ͏ʹλεΫ͕ෆ҆ఆͳঢ়ଶʹ • Langfuse ͕τϨʔεΛه࿥Ͱ͖ͳ͔ͬͨͱΤϥʔΛు͘ • Max attempts reached for * record. Dropping record. • େྔͷHTTPλΠϜΞ΢τ • ClickhouseWriter.writeToClickhouse Error: Timeout error.
11. $16.FNPSZ͸·ͩ༨༟͕͋Δ
12. "*͸ωοτϫʔΫͷ໰୊ͩͱݴ͍ுͬͯΔ ωοτϫʔΫͷ໰୊Ͱ͠ΐ͏ʂʂʂ ͔͠͠ɺ֤λΠϜΞ΢τઃఆΛ֬ೝͯ͠΋ɺ໰୊͸ͳͦ͞͏ɻ
    ͦ΋ͦ΋T͔͚ͯ΋τϨʔεʹॻ͖ࠐΊͳ͍%#͕͓͔͍͠ɻ
13. &'4ͷ໰୊Λൃݟ w 5ISPVHIQVU
    VUJMJ[BUJPO
    ͕ৗʹߴ͍͜ͱ͕ൃ֮
14. &'4
    5ISPVHIQVU
    NPEFʹ͍ͭͯ w 5ISPVHIQVU
    VUJMJ[BUJPO
    ͕ৗʹߴ͍͜ͱ͕ൃ֮
    • EFS ʹ͸εϧʔϓοτϞʔυ͕3छྨ͋Γɺཁ݅ʹ߹Θͤͯબ୒Մೳ • Elastic: ར༻ঢ়گʹ߹Θͤͯࣗಈతʹεέʔϧ • Bursting: ετϨʔδ࢖༻ྔʹൺྫͯ͠εϧʔϓοτ΋૿͑Δ • Provisioned: ࢦఆͨ͠εϧʔϓοτྔΛݻఆͰ֬อ • ֘౰ͷ EFS ͸ Bursting ʹͳ͍ͬͯͨ • ࢖͍࢝Ίͨ͹͔ΓͰ࢖༻ྔ͸ 3~4GiB ΄Ͳ • ετϨʔδ 1GiB ͋ͨΓ 50KiBps ͷεϧʔϓοτ࿮ → 200KiB/s ΄Ͳ͔͠ͳ͍
15. &'4
    5ISPVHIQVU
    NPEFͷมߋ • Bursting → Elastic ΁มߋͯ͠ঢ়گ͕վળͨ͠ • AWS ίϯιʔϧͷॳظ஋͸ Elastic • Terraformaws provider ͷॳظ஋͸ Bursting ͳ͜ͱΛݟམͱ͍ͯͨ͠ (ຌϛε)
16. $MJDL)PVTF
    %FFQ
    %JWF
17. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़ w τϨʔεͷॻ͖ࠐΈͰΤϥʔ͕ൃੜ͍ͯͨͨ͠ΊɺͦͷลͷڍಈΛௐࠪ͠·ͨ͠ɻ
18. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • InsertΛड͚ΔͱɺPartͱ͍͏୯ҐͰ σʔλΛ֨ೲ͢Δɻ • ҰؾʹInsert͢ΔͷͰ͸ͳ͘ɺҰ౓ Bufferʹ֨ೲ͢Δ͜ͱͰɺલ΋ͬͯ σʔλΛιʔτͯ֨͠ೲ͢Δɻ
19. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • PartΛ࡞Δࡍʹ͸σʔλΛιʔτ͠ɺΧϥ Ϝʹ෼͚ͯΠϯσοΫε৘ใͱڞʹPartͱ ͯ͠อଘ • ιʔτ͢Δ͜ͱʹΑΓɺΠϯσοΫε৘ใ ͔ΒͲͷϑΝΠϧʹඞཁͳσʔλ͕֨ೲ͞ Ε͍ͯΔ͔͕ܭࢉ͠΍͘͢ͳ͍ͬͯΔɻ
20. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  Compress columnsͰ͸ɺgranuleͱ͍͏୯ҐʹσʔλΛ෼͚ɺprimary.idxͱ͍͏ϑΝΠϧʹ Ͳͷൣғͷσʔλ͕͋Δ͔Λอଘ͓ͯ͘͜͠ͱͰɺߴ଎ͳσʔλΞΫηεΛ࣮ݱ͍ͯ͠Δɻ
21. Mark͸ΧϥϜ͝ͱʹ࡞ΒΕอଘͨ͠granuleͷ৔ॴΛḷΓ΍͘͢͢Δ $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़ 
22. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  ϨϓϦέʔγϣϯ࣌ʹ͸࣍ͷσʔλΛૹ৴͢Δඞཁ͕͋Γ·͢ɻ
    w ΧϥϜσʔλϑΝΠϧ DPMVNO@OBNFCJOܗࣜͷѹॖ͞Εͨσʔλ
    w ΠϯσοΫεϑΝΠϧ QSJNBSZJEYͳͲͷϓϥΠϚϦΩʔΠϯσοΫε
    w ϚʔΫϑΝΠϧ DPMVNO@OBNFNSLͳͲͷߦҐஔϚʔΧʔ
    w ϝλσʔλϑΝΠϧ DIFDLTVNTUYU DPMVNOTUYUͳͲͷύʔπهड़৘ใ
23. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  1BSUTͷϚʔδ΋ఆظతʹൃੜ͠·͢ɻ ϑΝΠϧγεςϜ΋͜ΕΛ૝ఆͯ͠ε ϧʔϓοτΛ֬อ͢Δඞཁ͕͋ͬͨɻ
24. $MJDL)PVTFͷύϑΥʔϚϯεΛࢧ͑Δٕज़  • ClickHouseͰ͸ϨϓϦέʔγϣϯɺϚʔδͱ͍ͬͨඇಉظॲཧ͕ൃੜ͠·͢ɻ • ϨϓϦέʔγϣϯ࣌ʹ͸ɺ͜ͷPartsΛHTTPܦ༝ͰϨϓϦέʔγϣϯ͢Δͨ ΊɺωοτϫʔΫεϧʔϓοτ΋ؾΛ͚ͭΔඞཁ͕͋Δɻ • ࠓճͷ৔߹͸ωοτϫʔΫͷλΠϜΞ΢τΑΓɺϑΝΠϧγεςϜͷλΠϜ Ξ΢τ͕௕͘ઃఆ͞Ε͍ͯͨͷ͕ࠜຊͷ໰୊ʹؾ͖ͮʹ͍͘ݪҼͰͨ͠ɻ
25. ·ͱΊ
26. "*ʹฉ͚ͩ͘Ͱ͸Θ͔Βͳ͍ࠜຊݪҼ͸༨༟Ͱଘࡏ͢Δ ύϑΥʔϚϯε΁ͷ஌ݟɺΠϯϑϥ஌ࣝɺΞϧΰϦζϜͷ஌ࣝ͸Ҿ͖ଓ͖ඞ ཁɻֶΜͰ͍͖·͠ΐ͏ʂʂʂʂ
27. "*࣌୅Ͱ΋%FFQ
    %JWF͢Δ͜ͱ͸Ձ஋ ཪଆͰಈ͍͍ͯΔॲཧΛ۩ମతʹ஌Δ͜ͱͰɺύϑΥʔϚϯεɺ҆ఆੑΛ্͛Δͱ ͖ʹͲ͜ʹ໨Λ͚ͭΕ͹ྑ͍ͷ͔ͷௐ͕ࠪඇৗʹ͠΍͘͢ͳͬͨɻ
    ϩά΍ϝτϦΫε͚ͩΛݟͯରԠΛ૝૾͢ΔͷͰ͸ͳ͘ɺ࣮ࡍʹཪଆΛཧղ͢Δ͜ ͱͰɺ֬৴Λ࣋ͬͨࠜຊղܾ͕Ͱ͖ΔΑ͏ʹͳͬͨɻ
28. ϒϩάʹ΋ͯ͠·͢ʂʂ tech.layerx.co.jp/entry/deep-dive-clickhouse
29. )JSPNV
    /BLBNVSB
    
    QFSGUPLZP
     
    --.0QTͷύϑΥʔϚϯεΛࢧ͑Δٕज़ͱ ݱ৔Ͱ࣮ફͨ͠վળ