Ollama の Structured outputs を IBM Granite などローカル LLM で試してみる

20250409_AIミーティング「Ollama の Structured outputs を IBM Granite などローカル LLM で試してみる」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20250408_AIミーティング Ollama の Structured outputs を IBM Granite などローカル LLM で試してみる ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. Ollama で Structure outputs が 使えるようになったので試してします JSON スキーマを定義してデータを受け取る OpenAI だと function calling みたいなもの！うれしい！ https://ollama.com/blog/structured-outputs
6. 今日も GitHub Codespaces で Ollama を入れてやってみます シンプルに Blank の環境を起動してスタート
7. GitHub ページを見ながらインストール https://github.com/ollama/ollama
8. ollama serve で起動します
9. Models から使いたいモデルを pull します https://ollama.com/search
10. 今回は 2 か月前に出た IBM granite3.1-moe をpull してみました 他にも入れてみました
11. 最近は 2 GB くらいに収めてくれる LLM モデルが多くて使いやすい
12. ついでに GUI で API にアクセスしやすい Node-RED も入れておきます
13. Ollama API で Structure outputs する様子 format 要素に JSON スキーマを与えればできる OpenAI API の Function calling っぽい https://ollama.com/blog/structured-outputs
14. Node-RED で Ollama API へお願いするフロー
15. プロンプト部分の指定
16. JSON スキーマの指定
17. こんな構造化データ JSON がきます！
18. この環境でライブデモをしていきます
19. いろいろな学び
20. JSON スキーマの指定がおかしくても空気を 読んでくれるが、しっかり指定するのが素敵 available でうまく変換できたか見てるけど、できてないと false でるのえらい スキーマ成功例 スキーマ失敗例 スキーマ失敗例
21. JSON スキーマをどう書くかは ChatGPT で聞いてみるのも参考になる よく多次元階層の Array をどう書くかを忘れがちので確認できるのはありがたい
22. なんとなくStructure outputs 対応後の 2024/12 以降の LLM モデルは対応してそう？ でもちょっと挙動がうまくいってないものもありそう。対応や相性はあるかも？
23. ➔ 今日はまだ整わなかったですが画像認識 Vision 系の LLM もローカル PC であれば動いて、さらに Structure outputs が効きそうな片鱗が見えたのでまた話したいです ➔ 今回の CSV のようなデータ変換系は結構小さな LLM でも いいかんじ、SQL コード例のようなコードを出す系もな かなかによい。 ➔ 一方、ウォンバット知ってる的な知識系については小さい LLM だと、いまいちなことがある。圧縮のため、どの方 向性で削っているかとかいろいろな背景が見える。 エクストラ
24. ➔ Ollama で Structure outputs が使えるようになって JSON データが取得できて他の仕組みに組み込みやすい。 ➔ OpenAI の Function calling の良さがローカル LLM でも 使えるのはすばらしい。色々使えそう。 ➔ GitHub Codespaces でもレスポンスもそれなりによく構 築しやすく手元 PC パワーがあれば実用もできそう。 ➔ 生成 AI を使うときにもクラウドでの良さ、ローカルでの 良さを気軽に楽しめてとても楽しみになってきました！ まとめ