Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
고객님, 폐쇄망에서 ChatGPT 돌릴수있다면 사시겠어요?
Search
Lablup Inc.
PRO
November 02, 2025
0
1
고객님, 폐쇄망에서 ChatGPT 돌릴수있다면 사시겠어요?
Track2_1400_Lablup Conf 2025_유저스틴
Lablup Inc.
PRO
November 02, 2025
Tweet
Share
More Decks by Lablup Inc.
See All by Lablup Inc.
효율적인 Agentic 아키텍처 구성을 위한 개발 Tip
lablup
PRO
0
2
Tokens/$ 극대화를 위한 소프트웨어 기술
lablup
PRO
0
2
Backend.AI Continuum을 이용한 AI Product 개발하기
lablup
PRO
1
2
Making Sense of HS Codes: HSense AI System for Automated Tariff Classfication
lablup
PRO
0
3
LLM을 통한 합성 데이터 생성
lablup
PRO
0
3
당신의 기업, AI 전환이 안되는 3가지 이유
lablup
PRO
0
3
Agentic AI를 위한 MCP Sidecar sLM 학습(시도)기
lablup
PRO
0
3
[Keynote] Composable AI, Composable Software
lablup
PRO
0
4
[Keynote] AAA: Agentic, Autonomous, Adaptive Intelligence
lablup
PRO
0
8
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
116
20k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
54k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Agile that works and the tools we love
rasmusluckow
331
21k
Code Reviewing Like a Champion
maltzj
527
40k
Git: the NoSQL Database
bkeepers
PRO
431
66k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Site-Speed That Sticks
csswizardry
13
960
Transcript
None
고객님 , 폐쇄망에서 ChatGPT 돌릴수있다면사시겠어요 ? 유저스틴 | 수석디벨로퍼 아드보캇
| Microsoft @justinyoo @justinyoo 유저스틴 유저스틴
ChatGPT 가 그렇게 좋다매요 ?
API 호출만 하면 곧바로 AI를 내 앱에서 쓸 수 있습니다
보안 비용 API 제약
보안 비용 API 제약 회사 내부 자료 트레이닝 API 호출
비용 API 호출 횟수 제약
이 모든 것을 해결할 수 있는 방법은 없을까?
만약에 로컬에서 LLM을 돌린다면?
로컬 LLM
보안 비용 API 제약 폐쇄망 에서 동작 가능 API 호출
비용 없음 API 호출 횟수 제약 없음
로컬 LLM
로컬 LLM 서버
Ollama Docker Model Runner Foundry Local
Ollama
가장 널리 쓰임
ollama serve ollama run gpt-oss
ollama serve ollama run gpt-oss ollama run hf.co/Qwen/Qwen3 -0.6B -GGUF
Docker Model Runner
컨테이너 최강자
docker model run ai/gpt-oss
Foundry Local
Azure AI Foundry 와 개발 경험 공유
foundry model run gpt-oss -20b
DEMO: 로컬 LLM 서버
로컬 LLM 과 앱 통합하기 Microsoft.Extensions.AI
앱에 LLM 을 통합하려면 ? SDK
앱에 LLM 을 통합하려면 ? SDK
Ollama Docker Model Runner Foundry Local OllamaSharp OpenAI Azure AI
Foundry
SDK 마다 사용법이 다 다릅니다
손쉬운 교체 어려움
Microsoft.Extensions.AI
IChatClient 인터페이스
기존 SDK 확장
개발자는 코어 비즈니스 로직에 집중
DEMO: 로컬 LLM 과 앱 통합하기 feat. Microsoft.Extensions.AI
마무리
로컬 LLM 보안 , 비용 , 유연성
Microsoft.Extenisons.AI 통합 용이성 , 미래 확장성
클라우드 네이티브 배포 .NET Aspire
클라우드 네이티브 배포 Ollama 서버 컨테이너 활용
MEAI for Local LLMs github.com/ devkimchi /meai-for-local-llms OpenChat Playground github.com/
aliencube /open-chat -playground
None