Node−RED で Ollama を使ったローカルLLM（node-red-contrib-ollamaを利用） / ビジュアルプログラミングIoTLT vol.20

Transcript

1. 2025年5月26日 (月) ビジュアルプログラミングIoTLT vol.20 @オンライン 豊田陽介（ ） @youtoy Node−RED で Ollama を使ったローカルLLM （node-red-contrib-ollamaを利用）
2. 自己紹介 豊田陽介（ ） @youtoy ▶ IT系イベント主催、 　 登壇や運営なども ▶ 機械学習・IoT関連 　 の書籍を出版 ▶ 子ども向けのIT関連活動 　（ITが関係しない活動も）　　 プライベートでの活動 ▶ ガジェット ▶ 描画系／IoT／AI・機械学習系 ▶ ビジュアルプログラミング ▶ JavaScript 好きな技術など
3. 今回の話 Node-REDで「ローカルLLM」 ↓ node-red-contrib-ollama を利用
4. ローカルLLM？ 自分のPC内などローカルで 大規模言語モデル（LLM）を 動かして使うもの
5. ・Apple M4 ・メモリ 24GB （電源ボタンが 　裏面にあるやつ） ローカルLLMを主にMac miniで試していました
6. ローカルLLMのセットアップなどを手軽に ・Ollama 　・ローカルで大規模言語モデルを手軽に 　　扱えるようにしてくれるツール 　　（マルチプラットフォーム対応）
7. 余談 ローカルLLMを試す時には 主に「MLX LM」「MLX-VLM」 などを使っていたりします
8. ローカルで使ったGoogleさんの大規模言語モデル
9. OllamaをNode-REDで
10. Node-REDでOllamaを簡単に扱えるようにする ・node-red-contrib-ollama
11. 手順の詳細はQiitaの記事をご覧ください
12. ノードの設定を書いたりなどして
13. 大規模言語モデルを使ったやりとりができた！
14. Node-REDで「ローカルLLM」を 手軽に試せた！ Node-REDに関わる部分ではないけれど、 自分の環境では、出力スピードなど厳しい面も （モデルなどの性能アップに期待！）
15. 終わり！