教師あり学習を用いたSkillsの最適化

Transcript

1. 教師あり学習を用いたSkillsの最適化 Claude Code Meetup #5 2026/05/14 ＠Algomatic
2. 自己紹介 株式会社Algomatic AIエンジニア 三上 有祐 情報の領域で修士号を取得後、新卒として 株式会社AlgomaticにAIエンジニアとして入社。 現在社会人2年目。 業務 エンタープライズ企業向けRAG/AIチャットボットの開発導入 プロダクト開発におけるAIエージェントの開発 AI駆動開発におけるデザインプロセスの効率化 X: @yusuke_post Claude Code Meetup #5 2026/05/14 ＠Algomatic
3. 今回のテーマ 今回のLTのテーマ X: @yusuke_post ＠Algomatic Claude Code Meetup #5 2026/05/14
4. 本LTのテーマ Skillsを作業手順書として位置付け、複雑性の高い業務の自動化する際の評価を本LTのテーマとする Skills：複数のステップからなる複雑性のある業務を実現するための手順書 エンジニア、非エンジニアの業務を問わず使用されている。 今後もより広範囲、複雑性、専門性の高いことをすることが増えると想定。 最適化・評価がより大切になる？ Claude Code Meetup #5 2026/05/14 ＠Algomatic
5. AnthropicのSkillを作るSkill AnthropicもSkillsの評価をしている Anthropic skill-creator Skillの作成 テストケースの作成・評価まで 評価基準を事前に設定し評価 +人間のFB https://claude.com/blog/improving-skill-creator- test-measure-and-refine-agent-skills Claude Code Meetup #5 2026/05/14 ＠Algomatic
6. 結論 HOWよりもWHAT WHY モデルがもっと賢くなると、 「スキル＝仕様（what）」だけを書けば、 具体的なやり方（how）はモデル側が 自動で埋めてくれる世界になる https://claude.com/blog/improving-skill-creator- test-measure-and-refine-agent-skills 評価基準など、WHATの定義がより大事な時代、、、？ Claude Code Meetup #5 2026/05/14 ＠Algomatic
7. 評価がより大事になる時代の課題 Claude Code Meetup #5 2026/05/14 ＠Algomatic
8. ASIS 解こうとしているタスクが高度になってきた、、専門家でないとFBが難しい時代？ 👦 非専門家 🧑‍🎓 専門家 評価 できる エンジニア、デザイナーなど 高度な AIの成果物 評価 できない Claude Code Meetup #5 2026/05/14 ＠Algomatic
9. TOBE像 専門家でなくても、正しいFBを与えられるようにしたい 🤖 AI 評価 できる 高度な AIの成果物 👦 評価 できない 非専門家 Claude Code Meetup #5 2026/05/14 ＠Algomatic
10. 教師あり学習を用いた解決策の一例 テストケースを作って、評価をしたい テストケース Rules& Skillsなど 専門家のナレッジが入っている 入力 正解 評価 Claude Code Meetup #5 2026/05/14 ＠Algomatic
11. 教師あり学習を用いた解決策の一例 テストケースが作って、実際に実行して実力を見る テストケース 入力例 正解例 専門家のナレッジが入っている 成果物 正解 生成物＋ログ 入力 Rules& Skills Evaluator 評価基準を元にミスについてFB Claude Code Meetup #5 2026/05/14 ＠Algomatic
12. 実際に社内事例に応用する Claude Code Meetup #5 2026/05/14 ＠Algomatic
13. 応用した社内事例 デザイナーが行っていた既存プロダクトの新規機能の追加業務をClaude Codeで自動化する社内プロジェ クトに応用 要望 理解 🧑‍🎨 実装 🧑‍🎨 AS-IS 新機能が追加された モックアプリ 要望 Claude Code Meetup #5 2026/05/14 ここを最適化したい 要望 理解 Skills& rules 実装 Skills& rules TO-BE 要望 新機能が追加された モックアプリ ＠Algomatic
14. 本事例において難しい点 顧客の要望から、課題を適切に理解して、ソリューション（モックアプリ）に落とし込むこと AIにとって難しいタスク＝最適化が必要そう 要望 理解 🧑‍🎨 実装 🧑‍🎨 新機能が追加された モックアプリ 要望 Claude Code Meetup #5 2026/05/14 ＠Algomatic
15. ステップ１: テスト用データセットの作成 データセットを作成することで教師あり学習に近いものを実現する 要望 過去に社内のデザイナーが作ったFigmaモック 〇〇したい 〇〇したい 〇〇いらない 正解データ 入力データ Claude Code Meetup #5 2026/05/14 ＠Algomatic 1:1で対応
16. ステップ２：全体アーキテクチャ データセットを使用し、実行して改善をする 入力 生成物＋ログ 正解 要望 既存プロダクトの 実装 評価基準 Evaluator Rules& Skills 新機能が追加された モックアプリ 過去に デザイナーが 作った モックアプリ Claude Code Meetup #5 2026/05/14 ミスについてFBする ＋最初は手動のFBも含む ＠Algomatic
17. 結果 以下のようなフィードバックと解決策が得られた 起こっている事象 改善案(本来はもっと具体的で詳細) 改善例1 ユーザーの要望の裏にある意図 が読めていない 書かれたことをそのままではなく、裏の意図を理解する。 改善例２ 要望に書かれていない属性や機 能を、AIが勝手に生成 「ユーザーの要望の中で、応えなくていいところには応えない」 という抑制を追加 改善例3 既存のデザインシステムを 使用していない Figma上のデザインシステムを積極的に活用する Claude Code Meetup #5 2026/05/14 ＠Algomatic
18. Before vs After 改善結果(うまくいった事例) Before 無駄な機能を 実装してしまっている 要望にあるテキストが そのまま使われてしまっている After 絵文字の使用方法が正しい レイアウト・情報の密度 が正しい 絵文字の多用 コンポーネントの使用が できている Claude Code Meetup #5 2026/05/14 空白が多く、レイアウト・ 情報の密度がおかしい ＠Algomatic
19. 課題 うまくいってそうに見えますが、課題が山積みです、、、 課題 詳細 評価基準の設定が難しい 評価の軸を正しく設定することが重要。 コンテキストの管理が難しい 実行時には正解データを見せないようにすることで、カンニング防止。 トークン量が多い、 時間コストが高い テストケースが多く、トークンの使用量が多くなる。 早く・安定して改善しない・むしろ悪化するケースが発生する Claude Code Meetup #5 2026/05/14 ＠Algomatic
20. まとめ・展望 Claude Code Meetup #5 2026/05/14 ＠Algomatic
21. まとめ いろんな複雑な業務に応用されていくから、評価とか最適化が大事 現状の課題の一つは「専門性の高い業務を自動化する際の、人によるFBの限界」 解決できそうな一つの方法として、 過去の成果物をテストケース化して実行・比較することで品質を担保することがある 理論上はできそうだけど、まだ難しいところが多い Claude Code Meetup #5 2026/05/14 ＠Algomatic
22. 展望 今後行っていきたいこと 多様な業務への応用 学習方法の改善 汎用化 コンサル業務 バックオフィス業務 非エンジニア業務への適用 学習時間・トークン使用量の改善 強化学習などの概念の取り込み フレームワーク化 自由度の高いAIエージェントが民主化されたことで、比較的容易に複雑性の高いことが可能に Claude Code Meetup #5 2026/05/14 ＠Algomatic
23. ありがとうございました。 X: @yusuke_post このスライドを 公開しています。 株式会社Algomatic 採用してます! Claude Code Meetup #5 2026/05/14 ＠Algomatic