Upgrade to Pro — share decks privately, control downloads, hide ads and more …

1年前の日記を要約するツールをローカルLLM&自作MCPサーバーで作った話

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →

 1年前の日記を要約するツールをローカルLLM&自作MCPサーバーで作った話

2025-05-10 Zli 大LT 2025 春で発表したスライドです。

soukouki

May 10, 2025

Transcript

25 slides
  1. ローカルLLM の宿命 ローカルLLMとクラウドのLLMの一番大きな違いはパラメータ数で す。パラメータ数が多いほどLLMは賢くなり、少ないほど頭が悪くな ります。 ChatGPT, Gemini, Claudeのような商用のモデルは、大きなパラメー タ数のモデルを、データセンターの高性能なGPUでぶん回していま す。

    それに対して、ローカルLLMは家庭用の貧弱なGPUで動かすため、 VRAM(GPU内で利用できるメモリ)の容量による制約を受けます。 今回使うiGPUでは、システムメモリの一部をVRAMとして使うことになります。設定できる中で最大の16GBを割り当てています。VRAM容量を16GB積んだGPUというと、 RTX 4060Ti 16GBやRTX 5060などになります。5060だと8万以上するので、大分高いです。もちろん今回使う760Mより何倍も性能は高いですが... 15
  2. パラメータ数が少ないと起きること プロンプトで与えた手順を守れない。 「日本語で説明してください」と言っても英語で説明してくる。 ひどいときにはJSONで説明してくる。 「 read ツールで LLM を読み込んでください」と書くと LLM

    とい うツールを呼び出そうとしてエラーが出る。 MCPツールを(そもそも)呼び出せない。 これらに対処しながらプロンプト(モデルへ命令を与える文章)を調整 する必要があります。 16

More Decks by soukouki

Other Decks in Technology