Skillsを起点に回す、 AIコストの最適化サイクル

Transcript

1. Skillsを起点に回す、 AIコストの最適化サイクル 量‧質‧コストで測り、改善を続ける 菅本 隆⽂（Findy AI+）｜AIオブザーバビリティスペシャル#3 © Findy Inc. 1
2. ⾃⼰紹介 菅本 隆⽂ （すがもと たかふみ） Findy AI+ 新規事業開発 @sugamoto_ta 好きなツール Claude Code / Notion AI © Findy Inc. 2
3. 本⽇お話する内容 01 なぜ「Skills」なのか 02 モデルチューニングの進め⽅ 03 量‧質‧コストで測る 04 変更 → 評価 → 改善のループ 本イベントテーマとハーネス整備‧モデルチューニングとSkillsの関係を紹介します 洗い出し‧ピックアップ‧チーム設定の3ステップを紹介します Skillsの状態を3軸でモニタリングする考え⽅を紹介します Skillsを変えたら、何を根拠に良くなったと⾔えるかを紹介します © Findy Inc. 3
4. 今⽇話すこと コスト最適化にどう向き合うか 今回はスキップ コストの状態把握‧アラートは、これまでの登壇で扱われてきたテーマのため、今回は扱いません。 今⽇の本題 各社が取り組む、Skills‧サブエージェントのモデル設定〜最適化の進め⽅と、その評価〜再改善のループをどう回すか、と いう話をします。 © Findy Inc. 4
5. なぜ「Skills」なのか AI時代、作業は⼈→AIに移⾏ その中で、AIが作業をする際の標準化〜安定化のためのツールがSkillsやサブエージェント AI活⽤が進んでいる企業では、ハーネスの整備と整備したSkillsやサブエージェントのモデル チューニングに動いている。 だからSkills チーム‧組織横断で改善を回すなら、共通Skillsへのアプローチが圧倒的にやりやすい。 © Findy Inc. 5
6. 参考：ロードマップ ③AIで価値を⽣み出す ②AIエージェントでモノを作る ①AIエージェントでコード⽣成 AIがサポート出来る AIエージェント コード変更 要件定義 タスク分解 Issue作成 Pull request 作成 AIで代替できる セルフ レビュー AIで代替しづらい マージ レビュー QA リリース © Findy Inc. 6
7. モデルのチューニングをどう進めるか 3つのステップで対象を絞り込む 洗い出し ⾒直し候補のピックアップ チームで会話‧設定 洗い出し 既存のSkills‧サブエージェントなどで、モデル設定が⼊っていないものを洗い出す。 ピックアップ すでにモデルが設定されているが、作業内容的に⾒直した⽅が良さそうなものをピッ クアップする。 チームで会話‧設定 ピックアップした対象について、チームで話し合いモデルを設定する。 © Findy Inc. 6
8. モデルチューニングの効果（定量事例） モデルを1段階落とすと、単価はどれだけ下がるか モデル遷移 Input $/1M Output $/1M ⽬安の削減率 Fable 5 → Opus 5 $10 → $5 $50 → $25 ▲ 約50% Opus 5 → Sonnet 5 $5 → $3 (intro $2) $25 → $15 (intro $10) ▲ 約40〜60% Sonnet 5 → Haiku 4.5 $3 → $1 $15 → $5 ▲ 約67% 単価が下がっても、⽣成トークン数‧アウトプット品質も⼀緒に⾒る 出典：Anthropic公式Pricing（2026年6⽉時点のキャッシュ値。Sonnet 5のintro価格は2026年8⽉31⽇まで適⽤）。新しいトークナイザーでは、同じ 内容でも⽣成トークン数⾃体が最⼤約1.35倍（実質約30%）増えるケースがあり、総コストは単価⽐ほど単純には下がらない点に注意。 © Findy Inc. 7
9. 参考：コスト削減効果発信事例 数値の性質に注意しながら紹介 finout.io（FinOpsブログ、2026年7⽉） Opus 4.8 → Sonnet 5への移⾏で、⽉$1,125 → $675（▲40%、intro価格なら▲60%）という試算例を紹介。 Anthropic公式（Advisor戦略の⾃社検証） Opusが助⾔役、Sonnet/Haikuが実⾏役を担うAdvisor構成で、コスト▲11%‧ベンチマークスコア+2%という結果 を報告。 ※Anthropic⾃⾝によるベンチマーク結果 © Findy Inc. 8
10. チューニングして終わりではない その後に⽣まれる問い 品質は落ちていないか？（レビュー指摘‧マージ率‧⼿戻りへの影響） さらにモデルを下げる余地はないか？（コストをもう⼀段最適化できないか） だから 変更前後を⽐較して確かめる「評価」のステップが⽋かせない。 © Findy Inc. 9
11. モニタリングの3観点 Skillsの状態をこの3軸で継続的に⾒る 量 質 コスト 実⾏回数‧利⽤率 レビューコメント数‧マージ率 Skills/サブエージェント単価 PR数 ⼿戻り数‧変更障害率 トークン単価‧PR単価 どれだけ使われているか、 アウトプット増に寄与できているか ちゃんと役に⽴っているか コストは⾒合っているか この3軸でSkillsの状態を継続的にモニタリングする © Findy Inc. 10
12. 評価〜改善サイクル このループをどう回すか Skillsの中⾝を変えたら、量‧質‧コストの前後を⾒⽐べて良くなったかを確認する。 良くなっていれば横展開、変わらなければ差し戻して再検討する。 「物差し」と「良し悪しの判断基準（合格ライン）」があれば、メンバー⾃⾝が同じ基準で ループを評価‧改善できる状態を作れる。 ※現時点では試験的な取り組みです © Findy Inc. 11
13. まとめ Skillsのモデルチューニングが新たなトレンドに。 モデルチューニングは、洗い出し→ピックアップ→チーム設定で進める。 変更 → 振り返り → 改善のループを「共通Skills」単位で回す。 物差しと合格ラインがあれば、メンバー⾃⾝がループを評価‧改善できる状態にな る。 まずは1つのSkillsから、量‧質‧コストを測ってみる。 © Findy Inc. 12