トークン最適化のためのユーザーストーリー分析 / User Story Analysis for Token Optimization

トークンマキシング？トークン最適化？meet up！
https://findy-aiplus.connpass.com/event/397055/

Transcript

1. トークン最適化のための ユーザーストーリー分析 Delight Exciting Eager Exceed トークンマキシング？トークン最適化？meet up！ 2026/07/01 大曲 智久
2. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. ©ADWAYS DEEE Inc. 大曲 智久（オオマガリ トモヒサ） - ADWAYS DEEE 取締役CTO - テクノロジー、プロダクト エンジニア採用ページ https://adways-deee.net/recruitment-engineers セミナー発表 https://speakerdeck.com/oomatomo ・【AI Engineering Summit Tokyo 2026】ディスカバリーとデリバリーを繋ぐユーザーストーリ ーのAI化 ・【D-Plus Tokyo#19】ユーザーストーリー x AI ・【日経 × ケップル × アドウェイズ】未来の事業戦略を見据えたシステム改善の最適解を探る エンジニアブログで書いた記事 https://blog.engineer.adways.net/ ・CTOとしてAI導入での開発組織変化を振り返る ・20周年を迎えたサービスでビジネスドメインと向き合いモダナイゼーションを推進 ・エンジニアの事業貢献のために、開発生産性っぽいものを定量化した話 2
3. 3 Copyright © ADWAYS DEEE Inc. All Rights Reserved. 伝えたいこと - いま、AIはどれくらい使い倒されているか？ - チームでの利用状況に違いはあるのか - 利用が多いチームの傾向は（人数？ 動き方？） - 最適化・可視化は何をやっているか？ - 闇雲に増やすのか、どこかで配分や効率を見ているのか - 可視化の方法の紹介と、最適化のための分析状況（制御で縛っているのか、別の見 方か）
4. 5 Copyright © ADWAYS DEEE Inc. All Rights Reserved. ADWAYS DEEEの紹介 - 広告システムを作っております ※ Adways IR資料（2023年12月期 決算説明会）
5. 6 Copyright © ADWAYS DEEE Inc. All Rights Reserved. ADWAYS DEEEの紹介 - 広告システムを作っております - 認知メインの広告（ディスプレイ広告）ではなく 体験メインの広告（アフィリエイト、リワード）を扱っている
6. 7 Copyright © ADWAYS DEEE Inc. All Rights Reserved. - 開発スタイル - トークンマキシングの実態 - トークン最適化の分析 目次
7. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. 開発スタイル
8. 9 Copyright © ADWAYS DEEE Inc. All Rights Reserved. プロダクト開発では 多様性のあるチームがデフォルトとな っている プロダクトの価値を決めるために ３つの分野・ロールを大事にしている ３つのアウトプットが プロダクトの価値を決める
9. 10 Copyright © ADWAYS DEEE Inc. All Rights Reserved. ユーザーストーリーを作成するタイミング ソリューションの決定＝大枠の作るものを決める イベントストーミング=ビジネスドメインのイベントを洗い出して軸を作る ユーザーストーリー作成＝軸を元にユーザーストーリーとして落とし込んでいく 開発＝ユーザーストーリーを一つ一つ作り上げることでインクリメントしていく
10. 12 Copyright © ADWAYS DEEE Inc. All Rights Reserved. ストーリーの粒度は、2~3日で実装できる規模が多い - 「XX バリデーション処理を実行する」「XX Cookieに保存する」..etc - ペルソナにサービス名も使うこともある（バックエンドのユーザーストーリーなどで使う） ストーリーの優先度はPdMがベースを考える - フロー図などを用いて何から着手するかを決める ストーリーのフロー図 WHY As ペルソナ（システム）は I want 〜したい So that そうすることで、〜からだ Acceptance Criteria Given 〜の場合 When 〜の時 Then 〜なる ストーリーの形式
11. 13 Copyright © ADWAYS DEEE Inc. All Rights Reserved. ユーザーストーリーの例 現在：1ストーリー=複数シナリオ - 抽象度が上がり、受入基準が2〜4つに増えている
12. 14 Copyright © ADWAYS DEEE Inc. All Rights Reserved. 現在のスタイル ユーザーストーリーを リポジトリに入れ込む 要件詳細を詰めるため のストーリーは、エラ ーでのストーリーを書 くWHYのループがある SDDとしてOpenSpec を使っている
13. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. トークンマキシングの実態
14. 16 Copyright © ADWAYS DEEE Inc. All Rights Reserved. NewRelicでClaude CodeとCoworkを可視化 トークン使用量、MCP、スキル、エージェント..etc
15. 17 Copyright © ADWAYS DEEE Inc. All Rights Reserved. - 一番使っているのは、上位2名は最小のプロダ クトチーム（エンジニア出身のPdMとプロダク トエンジニア） - シニアの遊軍も上位に入っている - 新卒の２年目とかも上位に食い込んだりもして いる
16. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. トークン最適化
17. 19 Copyright © ADWAYS DEEE Inc. All Rights Reserved. PR数の上位の区別した場合 ・Feature=青色 ユーザーストーリー ・Chore=灰色 技術的な改善 ・infra=緑 terraform設置など ・AI=ピング AI設定 数は違えどfeatureが増えている人もいるが 増えていない人もいる 意外とchoreが多い
18. 20 Copyright © ADWAYS DEEE Inc. All Rights Reserved. Claudeでのレビュースルーが爆発的に増えている レビュースルー方針を立てて実施している ・AIレビューはDevin Reviewが該当 Coderabbit を導入中 ・シニア同士でイベントストーミングでポイントを洗い出し、 APIスキーマとDBスキーマを合意して重要なロジック以外は レビュースルー ・社内用のAIエージェント、 MCP基盤でレビュースルーも多い（シニア前提） ・プロダクトチームでも ユーザーストーリーはレビューするが choreとかはレビュースルーも増えている ・90%はやりすぎな気がしているので 着地は50％くらいかなという感覚
19. 21 Copyright © ADWAYS DEEE Inc. All Rights Reserved. https://www.oreilly.co.jp//books/9784814400737/ 過去のストーリーをドメインの種類ごとに分類
20. 22 Copyright © ADWAYS DEEE Inc. All Rights Reserved. 現在のストーリーをドメインの種類ごとに分類 ・全体で見ると思ったよりも比率に変化なし 開発のプロジェクトごとで中核の比率が異なる ・旧ストーリーはトラッキングがメインなので 比率は非常に大きくなっている。（15% → 80%） ・商品の一覧表示のストーリーとかは補完扱い 中核に該当するストーリー数がアウトカムを出し続けているかの 指標にもなりそう
21. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. まとめ
22. 24 Copyright © ADWAYS DEEE Inc. All Rights Reserved. まとめ - いま、AIはどれくらい使い倒されているか？ - 一番使っているのは最小チーム＝シニア2名のプロダクトチーム（エンジ ニア出身のPdM＋プロダクトエンジニア） - 遊軍的に動く層も上位（シニアや自分） - プロセスを変えるより、チーム構成を変える方が効果が大きい - 最適化・可視化は何をやっているか？ - NewRelic で Claude Code / Cowork を可視化している - Notion DB でストーリー分析＋GitHub の PR の中身をチェック - 中核ドメインのユーザーストーリーと PR の種別で見込み価値（開発生産 性レベル2）を分析 - 「制御はかけているのか」への答え：強い制御はかけず、可視化してチ ェックする運用
23. We're hiring ご清聴ありがとうございました 新しい価値を作り出す • Engineering Manager • AI Ops Manager（今後オープン予定） • ML Engineer（今後オープン予定） を募集しております https://adways-deee.net/recruitment-engineers ぜひ Ask the Speaker / 懇親会でお話しましょう
24. Delight Exciting Eager Exceed Copyright © ADWAYS DEEE Inc. All Rights Reserved. 終わり