DGX SparkでローカルLLMをLangChainで動かした話

Transcript

1. personal AI computer DGX Spark ~ ϩʔΧϧLLMͰLangChainಈ͔ͯ͠Έͨ ~ LangChain Meetup Tokyo #7 גࣜձࣾδΣωϥςΟϒΤʔδΣϯπ ԕ౻ େհ / @ruzia ಧ ͍ ͨ ʂ
2. ࣗݾ঺հ ‣ԕ౻ େհ / @ruzia ‣δΣωϥςΟϒΤʔδΣϯπॴଐ ‣Πϯϑϥͱػցֶशܥ͕޷͖ ‣Claude CodeͲͬ΀Γ ‣ϩʔυόΠΫָ͍͠ ‣FLUX.2ྑ͍ͧɾɾɾʂ
4. AIΤʔδΣϯτ͕ʮϋϒʯͱͳΓ ਓؒͱAIΤʔδΣϯτͷڠಇ͕ ౰ͨΓલʹͳΔੈքΛ࣮ݱ͢Δ
6. ຊ୊
7. ຊ೔ͷ͓୊໨΍Β ‣DGX SparkͬͯͲ͏͍͏΋ͷʁ ‣ϩʔΧϧLLMͲ͏΍ͬͯಈ͔͢ʁ ‣ͱ͍͏͜ͱ͸LangChainͰϩʔΧϧLLM͕ʂ ‣ϑΟʔυόοΫ͸ #LangChainJP ·Ͱ
8. Q DGX Sparkͬͯ ฉ͍ͨ͜ͱ͋Δਓʁ
9. NVIDIA͕࡞ͬͨ ύʔιφϧAIίϯϐϡʔλ
11. ͪͳΈʹॳ୅ͷ DGX-1͸͜ΜͳαΠζײ
13. ॳ୅͸FP16Ͱ
 960ςϥϑϩοϓε FP4ਫ਼౓Ͱ࠷େ1ϖλϑϩοϓεͷ ԋࢉೳྗͱ128GBͷϝϞϦΛ ࣋ͪͭͭ΋ফඅిྗ͕240W ͱ͍͏Խ͚෺Ϛγϯ
14. OS͸UbuntuΛ ΧελϜͨ͠DGX OS
16. ηοτΞοϓ͸ ϒϥ΢βܦ༝Ͱ΋Մೳ
19. Q ϩʔΧϧLLMΛ ಈ͔ͨ͠ࣄ͕͋Δਓʁ
20. Ollama
 Chat & build with open models
21. OllamaΛ࢖͏ͱϩʔΧϧͰ gpt-ossͱ͔qwen3-vlͱ͔Λ ಈ͔͢ࣄ͕Ͱ͖Δ
24. LangChainʹ͸Ollama༻ͷ ΠϯςάϨʔγϣϯ͕ ࣮૷͞ΕͯΔ ͳΜͱʂ
25. “https://docs.langchain.com/oss/python/integrations/chat/ollama”
26. ͱ͍͏͜ͱ͸ʂ LangChainͰʂ ϩʔΧϧLLM͕ʂ
28. $ python main.py ࢲ͸LangChain͕େ޷͖Ͱ͢ʂ
30. ϩʔΧϧͰ120BͷϞσϧ͕ αΫοͱಈ͔ͤΔͷ͸ ·͡Ͱ೤͍͠໘ന͍
31. ৭ʑݴΘΕͯΔ DGX Spark͚ͩͲ
 ৮Δͱָ͍͠ʂ ເ͔͠ͳ͍ʂ
32. ͝ਗ਼ௌ͋Γ͕ͱ͏ ͍͟͝·ͨ͠ʂ