Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo Hirokatsu Endo
November 27, 2025
Technology
760
1

DGX SparkでローカルLLMをLangChainで動かした話

Avatar for Hirokatsu Endo

Hirokatsu Endo

November 27, 2025

More Decks by Hirokatsu Endo

See All by Hirokatsu Endo
AgentCore BrowserとClaude Codeスキルを活用した 『初手AI』を実現する業務自動化AIエージェント基盤
Avatar for Hirokatsu Endo ruzia
10
4.6k
Amazon Bedrock Agent Core ~ AIエージェント時代を支えるAWSの新基盤 ~
Avatar for Hirokatsu Endo ruzia
0
73
Lambda＆FargateとPlanetScaleで作るServerless Rails環境
Avatar for Hirokatsu Endo ruzia
0
330
デフォルトにして至高、RubyMineの大好きな所
Avatar for Hirokatsu Endo ruzia
0
4.1k
AWS Lambda + PlanetScale = 超絶スケールWebアプリ
Avatar for Hirokatsu Endo ruzia
1
310
Jets ~ Rubyで始めるServerless生活 ~
Avatar for Hirokatsu Endo ruzia
0
1.3k
Jets ~Rubyで始めるServerless生活~
Avatar for Hirokatsu Endo ruzia
0
820
プログラマがAMPと付き合う上で 知っておくべきこと
Avatar for Hirokatsu Endo ruzia
0
2.4k

Other Decks in Technology

See All in Technology
プロダクトだけじゃない、社内プロセスにおける自動化・省力化ノススメ
Avatar for KAKEHASHI kakehashi
PRO
1
3.6k
インフラと開発の垣根を超えていき！〜元AWSインフラエンジニアがAWS開発で奮闘している話〜
Avatar for da-hatakeyama hatahata021
1
170
実装だけじゃない！ CCA-F取得エンジニアが教えるClaude Code開発プロセス活用術
Avatar for morimorikochan diggymo
2
660
ADDF - ループエンジニアリングするフレームワークを作ったら/I Didn't Set Out to Build Loop Engineering, But ADDF Did
Avatar for 果物リン fruitriin
0
120
GuardrailからGovernanceへ～AIエージェント運用の次の課題～
Avatar for 吉岡駿 sbspsy
2
270
CIで使うClaude
Avatar for TomoyaIwata iwatatomoya
0
250
SRE依存からの脱却 運用を開 発チームへ移す、 フルサイ クル開 発体制の実践
Avatar for joe joooee0000
0
2.7k
End-to-Endで考える信頼性 — LINEアプリにおける クライアント開発×SRE連携の実践
Avatar for maru maruloop
4
4.1k
美しいコードを書くためにF#を学んでみた話
Avatar for yud0uhu yud0uhu
1
410
「ちゃんとやっている」は独りよがりだった ― 不安に寄り添うインシデント対応へ / Towards incident response that addresses anxieties
Avatar for mekka chmikata
1
5k
生成AIの活用/high_school2026
Avatar for Oka Natsuki okana2ki
0
130
Making sense of Google’s agentic dev tools
Avatar for Guillaume Laforge glaforge
1
190

Featured

See All Featured
Amusing Abliteration
Avatar for ianozsvald ianozsvald
1
220
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
27k
The Limits of Empathy - UXLibs8
Avatar for Cassini Nazir cassininazir
1
440
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Avatar for Tammy Everts tammyeverts
55
3.4k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
2
340
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
Avatar for Kenny Baas-Schwegler baasie
0
610
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
300
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
Avatar for Yuki Nakata chikuwait chikuwait
0
650
A Tale of Four Properties
Avatar for Chris Coyier chriscoyier
163
24k
Understanding Cognitive Biases in Performance Measurement
Avatar for Philip Tellis bluesmoon
32
3k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
1k

Transcript

  1. personal AI computer DGX Spark ~ ϩʔΧϧLLMͰLangChainಈ͔ͯ͠Έͨ ~ LangChain Meetup

    Tokyo #7 גࣜձࣾδΣωϥςΟϒΤʔδΣϯπ ԕ౻ େհ / @ruzia ಧ ͍ ͨ ʂ

  2. ࣗݾ঺հ ‣ԕ౻ େհ / @ruzia ‣δΣωϥςΟϒΤʔδΣϯπॴଐ ‣Πϯϑϥͱػցֶशܥ͕޷͖ ‣Claude CodeͲͬ΀Γ ‣ϩʔυόΠΫָ͍͠

    ‣FLUX.2ྑ͍ͧɾɾɾʂ
  3. None

  4. AIΤʔδΣϯτ͕ʮϋϒʯͱͳΓ ਓؒͱAIΤʔδΣϯτͷڠಇ͕ ౰ͨΓલʹͳΔੈքΛ࣮ݱ͢Δ

  5. None

  6. ຊ୊

  7. ຊ೔ͷ͓୊໨΍Β ‣DGX SparkͬͯͲ͏͍͏΋ͷʁ ‣ϩʔΧϧLLMͲ͏΍ͬͯಈ͔͢ʁ ‣ͱ͍͏͜ͱ͸LangChainͰϩʔΧϧLLM͕ʂ ‣ϑΟʔυόοΫ͸ #LangChainJP ·Ͱ

  8. Q DGX Sparkͬͯ ฉ͍ͨ͜ͱ͋Δਓʁ

  9. NVIDIA͕࡞ͬͨ ύʔιφϧAIίϯϐϡʔλ

  10. None

  11. ͪͳΈʹॳ୅ͷ DGX-1͸͜ΜͳαΠζײ

  12. None

  13. ॳ୅͸FP16Ͱ
 960ςϥϑϩοϓε FP4ਫ਼౓Ͱ࠷େ1ϖλϑϩοϓεͷ ԋࢉೳྗͱ128GBͷϝϞϦΛ ࣋ͪͭͭ΋ফඅిྗ͕240W ͱ͍͏Խ͚෺Ϛγϯ

  14. OS͸UbuntuΛ ΧελϜͨ͠DGX OS

  15. None

  16. ηοτΞοϓ͸ ϒϥ΢βܦ༝Ͱ΋Մೳ

  17. None
  18. None

  19. Q ϩʔΧϧLLMΛ ಈ͔ͨ͠ࣄ͕͋Δਓʁ

  20. Ollama
 Chat & build with open models

  21. OllamaΛ࢖͏ͱϩʔΧϧͰ gpt-ossͱ͔qwen3-vlͱ͔Λ ಈ͔͢ࣄ͕Ͱ͖Δ

  22. None
  23. None

  24. LangChainʹ͸Ollama༻ͷ ΠϯςάϨʔγϣϯ͕ ࣮૷͞ΕͯΔ ͳΜͱʂ

  25. “https://docs.langchain.com/oss/python/integrations/chat/ollama”

  26. ͱ͍͏͜ͱ͸ʂ LangChainͰʂ ϩʔΧϧLLM͕ʂ

  27. None

  28. $ python main.py ࢲ͸LangChain͕େ޷͖Ͱ͢ʂ

  29. None

  30. ϩʔΧϧͰ120BͷϞσϧ͕ αΫοͱಈ͔ͤΔͷ͸ ·͡Ͱ೤͍͠໘ന͍

  31. ৭ʑݴΘΕͯΔ DGX Spark͚ͩͲ
 ৮Δͱָ͍͠ʂ ເ͔͠ͳ͍ʂ

  32. ͝ਗ਼ௌ͋Γ͕ͱ͏ ͍͟͝·ͨ͠ʂ