Share
Embed
Transcript
25 slides
-
1 年前の日記を要約するツールをローカル LLM& 自作MCP サーバーで作った話 Zli「大LT 2025 春」 2025-05-10 風邪を引きました。
スライドが25枚あるので巻きでいきます。 1 -
自己紹介 sou7といいます 学部5年生です 好きな言語はRubyと Rocq ActivityPub/Misskey : @[email protected] Twitter: @sou7_
_ _ Obsidian: ob.sou7.io 2 -
ローカルLLM の宿命 ローカルLLMとクラウドのLLMの一番大きな違いはパラメータ数で す。パラメータ数が多いほどLLMは賢くなり、少ないほど頭が悪くな ります。 ChatGPT, Gemini, Claudeのような商用のモデルは、大きなパラメー タ数のモデルを、データセンターの高性能なGPUでぶん回していま す。
それに対して、ローカルLLMは家庭用の貧弱なGPUで動かすため、 VRAM(GPU内で利用できるメモリ)の容量による制約を受けます。 今回使うiGPUでは、システムメモリの一部をVRAMとして使うことになります。設定できる中で最大の16GBを割り当てています。VRAM容量を16GB積んだGPUというと、 RTX 4060Ti 16GBやRTX 5060などになります。5060だと8万以上するので、大分高いです。もちろん今回使う760Mより何倍も性能は高いですが... 15 -
パラメータ数が少ないと起きること プロンプトで与えた手順を守れない。 「日本語で説明してください」と言っても英語で説明してくる。 ひどいときにはJSONで説明してくる。 「 read ツールで LLM を読み込んでください」と書くと LLM
とい うツールを呼び出そうとしてエラーが出る。 MCPツールを(そもそも)呼び出せない。 これらに対処しながらプロンプト(モデルへ命令を与える文章)を調整 する必要があります。 16 -
要約結果 長い要約 - コンピュータ言語論に関する学習と評価が中心でした。 - 高階関数やオブジェクト指向などを深く理解し、形式的意味論の重要性を学びました。 - 構文解析やプロトタイプベース言語についても触れられ、それがオブジェクト指向の理解に役立ちました。 - ランダムアクセスマシンを用いた形式的意味論の例や最小不動点、ホーアの論理の導入も行われています。
短い要約 コンピュータ言語論と形式的意味論を学ぶ中心の一日でした。 評価 : 80点くらい (コンピュータ言語論のどの分野をこの日に学んだのかまで書いてほ しかった) 24