고객님, 폐쇄망에서 ChatGPT 돌릴수있다면 사시겠어요?

Track2_1400_Lablup Conf 2025_유저스틴

Transcript

2. 고객님 , 폐쇄망에서 ChatGPT 돌릴수있다면사시겠어요 ? 유저스틴 | 수석디벨로퍼 아드보캇 | Microsoft @justinyoo @justinyoo 유저스틴 유저스틴
3. ChatGPT 가 그렇게 좋다매요 ?
4. API 호출만 하면 곧바로 AI를 내 앱에서 쓸 수 있습니다
5. 보안 비용 API 제약
6. 보안 비용 API 제약 회사 내부 자료 트레이닝 API 호출 비용 API 호출 횟수 제약
7. 이 모든 것을 해결할 수 있는 방법은 없을까?
8. 만약에 로컬에서 LLM을 돌린다면?
9. 로컬 LLM
10. 보안 비용 API 제약 폐쇄망 에서 동작 가능 API 호출 비용 없음 API 호출 횟수 제약 없음
11. 로컬 LLM
12. 로컬 LLM 서버
13. Ollama Docker Model Runner Foundry Local
14. Ollama
15. 가장 널리 쓰임
16. ollama serve ollama run gpt-oss
17. ollama serve ollama run gpt-oss ollama run hf.co/Qwen/Qwen3 -0.6B -GGUF
18. Docker Model Runner
19. 컨테이너 최강자
20. docker model run ai/gpt-oss
21. Foundry Local
22. Azure AI Foundry 와 개발 경험 공유
23. foundry model run gpt-oss -20b
24. DEMO: 로컬 LLM 서버
25. 로컬 LLM 과 앱 통합하기 Microsoft.Extensions.AI
26. 앱에 LLM 을 통합하려면 ? SDK
27. 앱에 LLM 을 통합하려면 ? SDK
28. Ollama Docker Model Runner Foundry Local OllamaSharp OpenAI Azure AI Foundry
29. SDK 마다 사용법이 다 다릅니다
30. 손쉬운 교체 어려움
31. Microsoft.Extensions.AI
32. IChatClient 인터페이스
33. 기존 SDK 확장
34. 개발자는 코어 비즈니스 로직에 집중
35. DEMO: 로컬 LLM 과 앱 통합하기 feat. Microsoft.Extensions.AI
36. 마무리
37. 로컬 LLM 보안 , 비용 , 유연성
38. Microsoft.Extenisons.AI 통합 용이성 , 미래 확장성
39. 클라우드 네이티브 배포 .NET Aspire
40. 클라우드 네이티브 배포 Ollama 서버 컨테이너 활용
41. MEAI for Local LLMs github.com/ devkimchi /meai-for-local-llms OpenChat Playground github.com/ aliencube /open-chat -playground