Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepSeekを使ったローカルLLM構築
Search
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Technology
0
210
DeepSeekを使ったローカルLLM構築
機械学習の社会実装勉強会第44回 (
https://machine-learning-workshop.connpass.com/event/346001/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
February 22, 2025
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
Conductor: Git Worktreeで実現する並列AIコーディング
knishioka
0
49
ローカルLLMでファインチューニング
knishioka
0
270
自作MCPサーバ入門
knishioka
0
19
成功と失敗の実像と生成AI時代の展望
knishioka
0
52
MCPが変えるAIとの協働
knishioka
1
190
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
190
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
240
LangGraphを使ったHuman in the loop
knishioka
0
310
AIシステムの品質と成功率を向上させるReflection
knishioka
0
56
Other Decks in Technology
See All in Technology
Recoil脱却の現状と挑戦
kirik
3
460
[TechNight #91] Oracle Database 最新パフォーマンス分析手法
oracle4engineer
PRO
3
150
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
390
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
180
ObsidianをLLM時代のナレッジベースに! クリッピング→Markdown→CLI連携の実践
srvhat09
7
9.7k
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
140
激動の時代、新卒エンジニアはAIツールにどう向き合うか。 [LayerX Bet AI Day Countdown LT Day1 ツールの選択]
tak848
0
610
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
8
590
Turn Your Community into a Fundraising Catalyst for Black Philanthropy Month
auctria
PRO
0
190
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
200
OpenTelemetry の Log を使いこなそう
biwashi
5
1.1k
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.6k
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
390
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
4 Signs Your Business is Dying
shpigford
184
22k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
850
KATA
mclloyd
30
14k
The Invisible Side of Design
smashingmag
301
51k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Balancing Empowerment & Direction
lara
1
510
Transcript
DeepSeekを使ったローカルLLM構築 機械学習の社会実装勉強会 第44回 (2025/02/22) 1
自己紹介 名前: 西岡 賢一郎 10年以上にわたり、データ分析や機械学習の分 野でスタートアップの経営に携わる。現在は、 日本とマレーシアを拠点に活動中。 SNS X: @ken_nishi
LinkedIn: https://www.linkedin.com/in/kenichiro- nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro- nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博 士 (学術) を取得 東京大学の博士課程在学中にデータサイエン スをもとにしたサービスを提供する株式会社 トライディアを設立 トライディアを別のIT会社に売却し、CTOと して3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式 会社ディースタッツ (CTO)・CDPのスタート アップ (Sr. Solution Architect) 自社および他社のプロダクト開発チーム・デ ータサイエンスチームの立ち上げ経験 2
アジェンダ 1. Local LLMが求められる背景 2. Local LLMで使えるオープンソースモデル 3. Local LLMを動かすプラットフォーム
4. まとめ 3
Local LLMが求められる背景 4
Local LLMの戦略的必要性 1. データセキュリティとプライバシー 社内に機密データを留めたまま AI 活用が可能 クラウド型と異なり、外部への情報送信が不要 製品開発情報や顧客データの漏洩リスクを最小化 2.
レスポンス時間の改善 インターネット接続に依存しない安定した応答 エッジでの処理によるレイテンシの最小化 リアルタイム性が求められる製造ラインでの活用に対 応 3. コスト面での利点 APIコール課金が不要 利用量に関係なく固定費での運用が可能 大規模な文書処理での優位性 5
産業別活用事例 金融業界での活用 機密性の高い投資戦略文書の分析 非公開の取引データを用いた不正検知 顧客の資産情報を含む文書要約 製造業での実装 製造ラインでのリアルタイム異常検知 社外秘の設計図面からの情報抽出 工場内の閉域ネットワークでの稼働分析 医療分野での展開
患者の個人情報を含むカルテ分析 院内システムでの処方箋チェック 医療画像の即時診断支援 6
Local LLMで使えるオープンソースモデル 7
主要なオープンソースモデル Meta Llama, Google Gemma, Microsoft Phi, DeepSeek など様々なモデルがオープンソースで利用可能となって いる
同じモデルでもパラメータ数が異なるバージョンが提 供されている (例: llama3.2:3b, llama3.2:1b) パラメータ数が多いほどモデルサイズが大きくなり賢 くなる 同じパラメータ数でもモデルによって得意・不得意分 野が異なる 出典: https://ollama.com/library/llama3.2 8
Deepseek 中国DeepSeek社のV3/R1シリーズは、MoE(Mixture of Experts)アーキテクチャとMLA(Multi-head Latent Attention)技術を組み合わせ、GPT-4o同等性能を低コ ストで実現 数学・コーティング・推論タスクで高性能 モデルが公開されており商用利用可能 出典:
https://ollama.com/library/deepseek-r1 9
Local LLMを動かすプラットフォーム 10
主要プラットフォームの比較 特徴 Ollama LM Studio vLLM 利用方式 CLI + API
GUI API モデル 多数のOSS LLM 60以上のOSS LLM HuggingFaceモデル ライセンス オープンソース クローズド オープンソース 商用利用 可能 要リクエスト 可能 選定のポイント CLIベース開発:Ollama GUI操作重視:LM Studio 高速処理重視:vLLM 11
Ollama 主な特徴 ローカル実行: プライバシー保護、オフライン利用可能 使いやすさ: マルチプラットフォーム、CLIインターフェ ース 高度な機能: GPUアクセラレーション、REST API対応
多様なモデル: Llama 2, Code Llama等をサポート オープンソース: 無料で利用可能、カスタマイズ可能 12
Ollamaを選ぶ理由 1. インストールの簡単さ: MacならHomebrewでインストール可能 brew install ollama 2. モデルの管理が用意 ollama
pull deepseek-r1:8b # モデルの取得 ollama list # インストール済みモデルの表示 ollama rm deepseek-r1:8b # モデルの削除 3. モデルをすぐに実行可能 ollama run deepseek-r1:8b 4. APIアクセス可能 url -X POST http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:8b", "prompt":"Why is the sky blue?" }' 5. Modelfileを使ったモデルのカスタマイズも可能 (次のページ参照) 13
Ollama Modelfile カスタムAIモデルを作成・管理するための設定ファイル 主な構文 FROM <base-model> :ベースモデルを指定 SYSTEM "<text>" :システムプロンプトを設定
PARAMETER key=value :モデルのパラメータ(例: temperature=0.7 )を設定 TEMPLATE "<prompt-template>" :入力フォーマットをカスタマイズ ADAPTER <adapter> :LoRAや追加学習済みモデルを適用 特徴 カスタマイズ可能:プロンプトやパラメータを自由に設定可能 軽量な記述:Dockerfileのようなシンプルな形式 ローカル実行対応:PC上で簡単にモデルを管理・実行可能 14
CLIで複数モデルの連携が可能 pipeで入出力をつなぐことで異なるモデルを簡単に連携可能 ollama run planner-model "<タスク>" | ollama run solver-model
| ollama run translator-model System Promptを指定して独自モデルを作る Modelfile内でSystem Promptを設定し特定の挙動に特化したモデルを作成 # llama3.1-planner.modelfile FROM llama3.1 SYSTEM """ あなたは別のAIへの指示を作成するアシスタントです。 与えられた質問に答えるためのプランニングをしてください。 """ Modelfileから独自モデルを作成 ollama create llama3.1-planner -f llama3.1-planner.modelfile 15
デモ Ollamaの基本操作 OllamaでDeepSeekを実行 Modelfileでカスタマイズ 16
まとめ 1. Local LLMはセキュリティ・速度・コストのメリットがある 2. オープンソースの公開やLocal LLMを動かす技術基盤の成熟により導入障壁が低下 3. マシンスペックに合わせて大小様々なモデルを選択可能 4.
Ollamaを用いて簡単にモデルを管理 5. Ollamaをpipeで利用することで複数のモデルを連携可能 17
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 18