Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeekを使ったローカルLLM構築
Search
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Technology
0
160
DeepSeekを使ったローカルLLM構築
機械学習の社会実装勉強会第44回 (
https://machine-learning-workshop.connpass.com/event/346001/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
MCPが変えるAIとの協働
knishioka
0
21
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
88
業務ツールをAIエージェントとつなぐ - Composio
knishioka
0
210
LangGraphを使ったHuman in the loop
knishioka
0
250
AIシステムの品質と成功率を向上させるReflection
knishioka
0
46
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
150
AIエージェントの開発に特化した統合開発環境 LangGraph Studio
knishioka
0
190
LangGraphを用いたAIアプリケーションにおけるメモリ永続化の実践
knishioka
1
530
Text-to-SQLをLangSmithで評価
knishioka
0
230
Other Decks in Technology
See All in Technology
【Λ(らむだ)】最近のアプデ情報 / RPALT20250422
lambda
0
110
システムとの会話から生まれる先手のDevOps
kakehashi
PRO
0
290
クォータ監視、AWS Organizations環境でも楽勝です✌️
iwamot
PRO
1
320
Стильный код: натуральный поиск редких атрибутов по картинке. Юлия Антохина, Data Scientist, Lamoda Tech
lamodatech
0
750
Amazon CloudWatch Application Signals ではじめるバーンレートアラーム / Burn rate alarm with Amazon CloudWatch Application Signals
ymotongpoo
5
530
Amazon CloudWatch を使って NW 監視を行うには
o11yfes2023
0
170
The Tale of Leo: Brave Lion and Curious Little Bug
canalun
1
130
DuckDB MCPサーバーを使ってAWSコストを分析させてみた / AWS cost analysis with DuckDB MCP server
masahirokawahara
0
1.3k
品質文化を支える小さいクロスファンクショナルなチーム / Cross-functional teams fostering quality culture
toma_sm
0
120
Classmethod AI Talks(CATs) #21 司会進行スライド(2025.04.17) / classmethod-ai-talks-aka-cats_moderator-slides_vol21_2025-04-17
shinyaa31
0
600
YOLOv10~v12
tenten0727
4
960
Writing Ruby Scripts with TypeProf
mame
0
180
Featured
See All Featured
Site-Speed That Sticks
csswizardry
5
500
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Rails Girls Zürich Keynote
gr2m
94
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Designing for humans not robots
tammielis
252
25k
Visualization
eitanlees
146
16k
RailsConf 2023
tenderlove
30
1.1k
Bash Introduction
62gerente
611
210k
It's Worth the Effort
3n
184
28k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Transcript
DeepSeekを使ったローカルLLM構築 機械学習の社会実装勉強会 第44回 (2025/02/22) 1
自己紹介 名前: 西岡 賢一郎 10年以上にわたり、データ分析や機械学習の分 野でスタートアップの経営に携わる。現在は、 日本とマレーシアを拠点に活動中。 SNS X: @ken_nishi
LinkedIn: https://www.linkedin.com/in/kenichiro- nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro- nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博 士 (学術) を取得 東京大学の博士課程在学中にデータサイエン スをもとにしたサービスを提供する株式会社 トライディアを設立 トライディアを別のIT会社に売却し、CTOと して3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式 会社ディースタッツ (CTO)・CDPのスタート アップ (Sr. Solution Architect) 自社および他社のプロダクト開発チーム・デ ータサイエンスチームの立ち上げ経験 2
アジェンダ 1. Local LLMが求められる背景 2. Local LLMで使えるオープンソースモデル 3. Local LLMを動かすプラットフォーム
4. まとめ 3
Local LLMが求められる背景 4
Local LLMの戦略的必要性 1. データセキュリティとプライバシー 社内に機密データを留めたまま AI 活用が可能 クラウド型と異なり、外部への情報送信が不要 製品開発情報や顧客データの漏洩リスクを最小化 2.
レスポンス時間の改善 インターネット接続に依存しない安定した応答 エッジでの処理によるレイテンシの最小化 リアルタイム性が求められる製造ラインでの活用に対 応 3. コスト面での利点 APIコール課金が不要 利用量に関係なく固定費での運用が可能 大規模な文書処理での優位性 5
産業別活用事例 金融業界での活用 機密性の高い投資戦略文書の分析 非公開の取引データを用いた不正検知 顧客の資産情報を含む文書要約 製造業での実装 製造ラインでのリアルタイム異常検知 社外秘の設計図面からの情報抽出 工場内の閉域ネットワークでの稼働分析 医療分野での展開
患者の個人情報を含むカルテ分析 院内システムでの処方箋チェック 医療画像の即時診断支援 6
Local LLMで使えるオープンソースモデル 7
主要なオープンソースモデル Meta Llama, Google Gemma, Microsoft Phi, DeepSeek など様々なモデルがオープンソースで利用可能となって いる
同じモデルでもパラメータ数が異なるバージョンが提 供されている (例: llama3.2:3b, llama3.2:1b) パラメータ数が多いほどモデルサイズが大きくなり賢 くなる 同じパラメータ数でもモデルによって得意・不得意分 野が異なる 出典: https://ollama.com/library/llama3.2 8
Deepseek 中国DeepSeek社のV3/R1シリーズは、MoE(Mixture of Experts)アーキテクチャとMLA(Multi-head Latent Attention)技術を組み合わせ、GPT-4o同等性能を低コ ストで実現 数学・コーティング・推論タスクで高性能 モデルが公開されており商用利用可能 出典:
https://ollama.com/library/deepseek-r1 9
Local LLMを動かすプラットフォーム 10
主要プラットフォームの比較 特徴 Ollama LM Studio vLLM 利用方式 CLI + API
GUI API モデル 多数のOSS LLM 60以上のOSS LLM HuggingFaceモデル ライセンス オープンソース クローズド オープンソース 商用利用 可能 要リクエスト 可能 選定のポイント CLIベース開発:Ollama GUI操作重視:LM Studio 高速処理重視:vLLM 11
Ollama 主な特徴 ローカル実行: プライバシー保護、オフライン利用可能 使いやすさ: マルチプラットフォーム、CLIインターフェ ース 高度な機能: GPUアクセラレーション、REST API対応
多様なモデル: Llama 2, Code Llama等をサポート オープンソース: 無料で利用可能、カスタマイズ可能 12
Ollamaを選ぶ理由 1. インストールの簡単さ: MacならHomebrewでインストール可能 brew install ollama 2. モデルの管理が用意 ollama
pull deepseek-r1:8b # モデルの取得 ollama list # インストール済みモデルの表示 ollama rm deepseek-r1:8b # モデルの削除 3. モデルをすぐに実行可能 ollama run deepseek-r1:8b 4. APIアクセス可能 url -X POST http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:8b", "prompt":"Why is the sky blue?" }' 5. Modelfileを使ったモデルのカスタマイズも可能 (次のページ参照) 13
Ollama Modelfile カスタムAIモデルを作成・管理するための設定ファイル 主な構文 FROM <base-model> :ベースモデルを指定 SYSTEM "<text>" :システムプロンプトを設定
PARAMETER key=value :モデルのパラメータ(例: temperature=0.7 )を設定 TEMPLATE "<prompt-template>" :入力フォーマットをカスタマイズ ADAPTER <adapter> :LoRAや追加学習済みモデルを適用 特徴 カスタマイズ可能:プロンプトやパラメータを自由に設定可能 軽量な記述:Dockerfileのようなシンプルな形式 ローカル実行対応:PC上で簡単にモデルを管理・実行可能 14
CLIで複数モデルの連携が可能 pipeで入出力をつなぐことで異なるモデルを簡単に連携可能 ollama run planner-model "<タスク>" | ollama run solver-model
| ollama run translator-model System Promptを指定して独自モデルを作る Modelfile内でSystem Promptを設定し特定の挙動に特化したモデルを作成 # llama3.1-planner.modelfile FROM llama3.1 SYSTEM """ あなたは別のAIへの指示を作成するアシスタントです。 与えられた質問に答えるためのプランニングをしてください。 """ Modelfileから独自モデルを作成 ollama create llama3.1-planner -f llama3.1-planner.modelfile 15
デモ Ollamaの基本操作 OllamaでDeepSeekを実行 Modelfileでカスタマイズ 16
まとめ 1. Local LLMはセキュリティ・速度・コストのメリットがある 2. オープンソースの公開やLocal LLMを動かす技術基盤の成熟により導入障壁が低下 3. マシンスペックに合わせて大小様々なモデルを選択可能 4.
Ollamaを用いて簡単にモデルを管理 5. Ollamaをpipeで利用することで複数のモデルを連携可能 17
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 18