AI コーディングと人間の認知スループット / CTO Night & Day 2026 Morning Session / AI Coding and Human Cognitive Throughput

CTO Night & Day 2026 (Morning Session) の登壇資料です。AI コーディングで PR が長くなり数も増えた一方、人間がレビューに使える時間、1 回の集中、作業記憶は増えていない、という話を、公開されている研究と自分の経験から整理しました。人間のゲートを「書く前の設計レビュー」と「小さな PR」の 2 か所に置く、人間が読む前に CI の感覚でトークンを使って検証する、自分のチームでレビュー時間と PR サイズの p50/p90 を測る、といった対処を提案しています。AI レビューは助けになりますが、人間のレビューの代わりにはならない、というのが私の立場です。対象はスタートアップの CTO と、本番コードを運用しているエンジニアです。内容はすべて個人の見解で、所属組織の見解ではありません。

Slides (Japanese) from CTO Night & Day 2026, Morning Session: AI coding tools produce more and longer PRs while human review time, attention, and working memory stay fixed, so this talk proposes two human gates (design review before code, small PRs), token-based verification before a human reads, and measuring p50/p90 PR size in your own team.

Transcript

1. CTO NIGHT & DAY 2026 AI コーディングと 人間の認知スループット 増えた PR を、誰がいつ読むのか Tamirlan Torgayev (prog893) Startup Solutions Architect Amazon Web Services Japan G.K. © 2026, Amazon Web © 2026, Services, Amazon Inc. or Web its Services, affiliates.Inc. All or rights its affiliates. reserved.All rights reserved. 1
2. Tamirlan Torgayev (ティーマ) @prog893 Startup Solutions Architect Amazon Web Services Japan メガベンチャーグループ企業に新卒入社、 様々なメディアサービスのインフラを支援 AWS ではスタートアップ支援、 データ分析周りの支援 好きなもの: Amazon Kinesis、Amazon ECS、 カメラ📸、猫🐈 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2
3. エージェントにも人間にも、上限がある あなた (人間) エージェント $ usage $ usage Usage limit reached. 高負荷の作業の上限 (目安) 1 日 2〜4 時間[1] 5-hour window: 100% used Resets at 15:00 Buy more usage 割り込みなしでコードを書けた最長 (平均) 47 分[2] リセット: 睡眠後 Upgrade plan 追加購入: 不可 アップグレード: 不可 人間の枠は同じまま、レビューなしでマージされる PR が 31.3% 増えた[3] [1] Ericsson ほか 1993 The Role of Deliberate Practice in the Acquisition of Expert Performance https://doi.org/10.1037/0033-295X.100.3.363 [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [3] Faros AI 2026 AI Engineering Report 2026 (vendor): PRs merged with no review +31.3% https://www.faros.ai/blog/ai-acceleration-whiplash-takeaways © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3
4. 読まずにマージを続けると、リポジトリはブラックボックスになる 長い diff 長くて丁寧な説明 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 読まずに Approve 自動マージ 誰も説明できない コード 4
5. 今日の流れ 1 困りごと 2 人間のスペック 3 どうするか 4 これから © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 5
6. 困りごと 1 困りごと 2 人間のスペック 3 どうするか 4 これから © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 読まずに通る diff、追いつかない読み手 6
7. 困りごと 1 PR が長くなり、数も増えた レビュー待ちの PR 読む人 以前 書く: 人の時間 往復 PR 数 行数 1 日 24 時間 レビュー往復 同じ人、同じ 1 日 いま 1 日 24 時間 書く: トークン 往復 +98% +154% +91% マージされた PR 数 平均 PR サイズ レビュー時間 Faros AI (ベンダー調査、AI 活用度の高いチーム)[4] [4] Faros AI 2025 The AI Productivity Paradox (vendor research) https://www.faros.ai/blog/ai-software-engineering © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7
8. 困りごと 1 OSS では、curl が報告の量をさばけず、受付をいったん止めた curl: 外部からの報告の量 5 月: 2024 年の 4〜5 倍、1 日 1 件超[5] 4 月: 当たりの割合 15〜16% に回復[6] 5 月: 質はこれまでになく高い[5] 7月 受付停止 [7] 8 月に再開[8] 止めている間に、溜まっていた PR をレビューできた 処理しきれない分 メンテナの処理能力 読む人の時間は 増えない 2024 年の量 1月 2月 3月 4月 5月 6月 7月 線の形はイメージ、実データではありません [5] Stenberg 2026 The pressure https://daniel.haxx.se/blog/2026/05/26/the-pressure/ [6] Stenberg 2026 High-Quality Chaos https://daniel.haxx.se/blog/2026/04/22/high-quality-chaos/ [7] Stenberg 2026 curl summer of bliss https://daniel.haxx.se/blog/2026/06/15/curl-summer-of-bliss/ [8] Stenberg 2026 What the bliss taught us https://daniel.haxx.se/blog/2026/08/03/what-the-bliss-taught-us/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 8
9. 困りごと 2 ちょっとした修正のつもりが、大きな diff に fix: typo in README Open agent wants to merge 6 commits into main 12 files changed +384 -127 本来の修正 Commits Description fix typo fix: reapply change to line 42 まだ下に続く ## Summary refactor auth helper while here revert: restore line 42 +1 -1, 1 file 行ったり来たり ## Value proposition refactor: undo previous refactor docs: add architecture overview © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. ## Deliberate decisions 9
10. 困りごと 3 説明が長く引用があるだけで、読む側は信じてしまう fix: typo in README +384 -127 12 files changed 読む気がしない 見ずに LGTM CI は通ってる ## Summary ## Deliberate decisions Safe to merge. ✓ Approve 丁寧そうだから、正しいはず 長い説明 URL の数 どちらも、 読まずに Approve 自信のある口調 説明が長いほど信頼は上がったが、回答の正確さは変わらなかった[9] 引用が回答と関係ないものでも、引用があるだけで信頼は上がった[10] [9] Steyvers ほか 2025 What large language models know and what people think they know https://doi.org/10.1038/s42256-024-00976-7 [10] Ding ほか 2025 Citations and Trust in LLM Generated Responses https://arxiv.org/abs/2501.01303 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 10
11. 困りごと 4 人を経由して、AI と AI が話している ## 回答 (詳細版) FW: 調査結果 ## 調査結果 これ、調べといて 読んでない AI A さん AI AI B さん AI C さん 実際に会話しているのは AI と AI 見た目だけの AI 成果物 (workslop) を、この 1 か月で受け取った人 40%。1 件の後始末に 1 時間 51 分 (米国のデスクワーカー 約 1,000 人)[11] [11] BetterUp / Stanford 2025 The hidden cost of AI workslop https://www.betterup.com/blog/hidden-costs-workslop © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 11
12. 困りごと 4 コードレビューでも、人が中継役になる 新規 PR ✓ Approve AI レビュー AI レビューは OK CI も通ってる diff も説明も AI 任せ AI 作者の AI 作者 見ずに LGTM ✓ CI 通過 PR AI PR AI レビュアー レビュアー また AI がレビュー (何周でも) 「でも、実装したのは誰? レビュアーたちだ。Claude Code と、ミート・プロキシとしてのあなたを使って」 "But who has done the implementation? The reviewers did, using Claude Code, and you as a meat proxy." Niklas Gruhn (2026)[12] [12] Gruhn 2026 Don't be a meat proxy https://gruhn.me/blog/2026-08-03/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 12
13. 人間のスペック 1 困りごと 読まずに通る diff、追いつかない読み手 2 人間のスペック 読みきれない理由を、上限ごとに見る 3 どうするか 4 これから © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 13
14. 人間のスペック 人間のハードウェアは、長らく更新されていない 1956 1983 2001 2021 Miller[13] 情報をチャンクに まとめて覚える Bainbridge[15] 変化の少ない監視は 約 30 分が限界 Cowan[16] 作業記憶は 約 4 チャンク Meyer ほか[2] コードレビューは 1 日 約 25 分 1976 1993 2011 Shneiderman[14] 経験者は意味の通る コードを多く覚える Ericsson ほか[1] 高負荷の練習は 1 日 2〜4 時間 Buschman ほか[17] ニューロンでも 上限が見える [1] Ericsson ほか 1993 The Role of Deliberate Practice in the Acquisition of Expert Performance https://doi.org/10.1037/0033-295X.100.3.363 [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [13] Miller 1956 The magical number seven, plus or minus two: Some limits on our capacity for processing information https://doi.org/10.1037/h0043158 [14] Shneiderman 1976 Exploratory experiments in programmer behavior https://doi.org/10.1007/BF00975629 [15] Bainbridge 1983 Ironies of Automation (Automatica 19(6)) https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf [16] Cowan 2001 The magical number 4 in short-term memory https://doi.org/10.1017/S0140525X01003922 [17] Buschman ほか 2011 Neural substrates of cognitive capacity limitations https://pmc.ncbi.nlm.nih.gov/articles/PMC3131328/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 14
15. 人間のスペック レビューに使えている時間は、1 日 1 時間に満たない あなた (人間) $ usage 実際にコードレビューに使っている時間: 1 日 約 25 分 (Microsoft)[2] Microsoft Google: 週平均 3.2 時間 高負荷の作業の上限: 1 日 2〜4 時間 約 25 分 (ログ計測、1 日 約 38 分)[18] (トップクラスの音楽学生の練習)[1] 0 1 時間 リセット: 睡眠後 2 時間 3 時間 追加購入: 不可 4 時間 アップグレード: 不可 [1] Ericsson ほか 1993 The Role of Deliberate Practice in the Acquisition of Expert Performance https://doi.org/10.1037/0033-295X.100.3.363 [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [18] Sadowski ほか 2018 Modern Code Review: A Case Study at Google https://research.google/pubs/modern-code-review-a-case-study-at-google/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 15
16. 人間のスペック 1 回の集中の目安は、どれも 1 時間以内 約 30 分 平均 47 分 [15] [2] 何も起きない画面を見張れる限界 0分 15 30 割り込みなしでコードを書けた最長時間 45 60 75 90 分 60 分 (300〜400 行) [19] これを超えると、欠陥を見つけにくくなる [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [15] Bainbridge 1983 Ironies of Automation (Automatica 19(6)) https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 16
17. 人間のスペック エージェントが 1 回で読める量を、人間は 1 日で読み切れない 200k と 1M のコンテキストを、人が読む時間に直すと 1 時間 1 日目 2 時間 3 時間 4 時間 5 時間 試算 6 時間 7 時間 8 時間 人間の 1 日: 8 時間で 約 11.4 万語 = 約 15 万トークン 読む速さ 毎分 238 語[20] 1 トークン = 約 0.75 語 (OpenAI の英語の目安)[21] 200k: 約 10.5 時間 1 日分は 200k の 76% 2 日目 3 日目 4 日目 5 日目 6 日目 7 日目 1M: 約 53 時間 (6.6 日) [22] [20] Brysbaert 2019 How many words do we read per minute? A review and meta-analysis of reading rate https://doi.org/10.1016/j.jml.2019.104047 [21] OpenAI API docs: Key concepts (1 token = 0.75 words) https://developers.openai.com/api/docs/concepts [22] Anthropic Claude Docs: Context windows https://platform.claude.com/docs/en/build-with-claude/context-windows © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 17
18. 人間のスペック いまのレビュー時間で、1 日に何行じっくり読めるか Microsoft 1 日のレビュー時間 じっくり読む速さ (目安)[19,23] 1 日にじっくり読める量 約 25 分[2] 200〜400 行/時 = 約 85〜165 行 200〜400 行/時 = 約 130〜260 行 アンケート Google 約 38 分[18] ログ計測 1 日にじっくり読めるのは 100〜200 行台 行数は、書いた成果の指標には向かない[24] 読む速さの単位は、レビュー研究では行/時[23] [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [18] Sadowski ほか 2018 Modern Code Review: A Case Study at Google https://research.google/pubs/modern-code-review-a-case-study-at-google/ [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf [23] Kemerer & Paulk 2009 The Impact of Design and Code Reviews on Software Quality https://doi.org/10.1109/TSE.2009.27 [24] Torvalds 2025 Linus Tech Tips: Building the PERFECT Linux PC (interview) https://youtu.be/mfv0V1SxbNA?t=2193 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 18
19. 人間のスペック 経験者は、コードを「チャンク」にして覚える チャンク 「互いに強く結びついた概念の集まり」[16] "a collection of concepts that have strong associations to one another" コードの例 慣れた人 慣れていない人 let sum = 0 let sum for (const x of items) { for = 0 x of items 合計を出す sum += x.price sum += } x.price コードを読む脳の fMRI[25] 意味のチャンク化の証拠 "evidence of semantic chunking" } const tax = calcTax(sum) 税を計算する calcTax (sum) [16] Cowan 2001 The magical number 4 in short-term memory https://doi.org/10.1017/S0140525X01003922 [25] Siegmund ほか 2017 Measuring Neural Efficiency of Program Comprehension https://doi.org/10.1145/3106237.3106268 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 19
20. 人間のスペック 覚える物を増やしても、脳の信号は約 4 個で頭打ち 一度に持てる数 コードレビュー: 見つかる欠陥が減る 視覚的作業記憶、サルの前頭前野・頭頂葉[17] 見つかる欠陥の割合[27] ニューロンの情報量 直線のモデル 59% 小さい変更 約 4 個で頭打ち 2 3 4 35% 1 時間 450 行より速いレビュー 5 覚える物の数 ヒトでも、EEG・fMRI の信号が 各人の容量で頭打ちになる[26] 大きい変更 87% のケースで、見つかった欠陥の 密度が平均以下[19] Cisco の事例 (ベンダーの調査) [17] Buschman ほか 2011 Neural substrates of cognitive capacity limitations https://pmc.ncbi.nlm.nih.gov/articles/PMC3131328/ [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf [26] Luck & Vogel 2013 Visual working memory capacity (TiCS review) https://pmc.ncbi.nlm.nih.gov/articles/PMC3729738/ [27] Baum ほか 2019 Associating Working Memory Capacity and Code Change Ordering with Code Review Performance https://doi.org/10.1007/s10664-018-9676-8 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 20
21. 人間のスペック 知らないコードはチャンクにならず、約 4 個の枠からあふれる エージェント 知らないコードは まず読み込む 呼び出し元 型定義 既存の挙動 人間 テスト 1M トークンのコンテキストに全部載る[22] 読んだあと、 一度に持てる量 呼び出し元 型定義 既存の挙動 呼び出し元 型定義 既存の挙動 テスト チャンク化せず、約 4 個の枠を超える[16,28] テスト 入りきらない 役に立つレビューコメントの割合[29] 65〜71% そのファイルをレビューしたことがある人 初めてレビューする人 32〜37% [16] Cowan 2001 The magical number 4 in short-term memory https://doi.org/10.1017/S0140525X01003922 [22] Anthropic Claude Docs: Context windows https://platform.claude.com/docs/en/build-with-claude/context-windows [28] Oberauer ほか 2018 Benchmarks for models of short-term and working memory https://doi.org/10.1037/bul0000153 [29] Bosu ほか 2015 Characteristics of Useful Code Reviews: An Empirical Study at Microsoft https://doi.org/10.1109/MSR.2015.21 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 21
22. 人間のスペック 人間はシングルスレッドで、割り込まれる htop Tasks: 5 「エージェントはマルチスレッドにできる。 人間はシングルスレッドだ」 Load average: 4.00 4.00 4.00 エージェント: 何本でも並列で動く agent 1 100% agent 2 100% agent 3 100% agent 4 100% 人間: コアは 1 つ 作業 通知で割り込み 復帰 “Agents can be multi-threaded. Humans are single threaded.” Theo (t3.gg, 2026)[30] ごとに通知が来る 2 分 [31] 6.2 分 (通知の多い上位 20%、 ベンダー調査) [32] ごとにタスク切り替え (開発者の平均) CPU 1 0 5 10 15 20 分 10% [33] 再開から 1 分以内に 書き始められた割合 [30] Theo (t3.gg) 2026 If you have a Claude sub, watch this https://youtu.be/D8PikZ1KhUo [31] Microsoft WorkLab 2025 The infinite workday (vendor telemetry) https://www.microsoft.com/en-us/worklab/work-trend-index/breaking-down-infinite-workday [32] Meyer ほか 2014 Software Developers' Perceptions of Productivity https://doi.org/10.1145/2635868.2635892 [33] Parnin & Rugaber 2009 Resumption Strategies for Interrupted Programming Tasks https://doi.org/10.1109/ICPC.2009.5090030 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 22
23. 人間のスペック エージェントと並べると、人間はスケールアウトできない h1.human 人間 1 人、前の世代から変更なし 項目 人間 エージェント 作業記憶 約 4 チャンク[16] 毎分 約 238 語[20] 平均 約 47 分[2] 1 日 2〜4 時間[1] 1 少しずつ読み進める 不可 1M トークン[22] 読む速さ 割り込みなしの集中 高負荷の作業 並列数 知らないコード スケールアウト 1 回で全部読み込む 疲れない (使用量の上限まで) 使用量の上限まで (買い足せる) 何本でも 読み込めば全部持てる 可 (何本でも立てられる) [1] Ericsson ほか 1993 The Role of Deliberate Practice in the Acquisition of Expert Performance https://doi.org/10.1037/0033-295X.100.3.363 [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [16] Cowan 2001 The magical number 4 in short-term memory https://doi.org/10.1017/S0140525X01003922 [20] Brysbaert 2019 How many words do we read per minute? A review and meta-analysis of reading rate https://doi.org/10.1016/j.jml.2019.104047 [22] Anthropic Claude Docs: Context windows https://platform.claude.com/docs/en/build-with-claude/context-windows © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 23
24. どうするか 1 困りごと 読まずに通る diff、追いつかない読み手 2 人間のスペック 読みきれない理由を、上限ごとに見る 3 どうするか 上限ごとの打ち手と、まだ答えのない問い 4 これから © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 24
25. どうするか PR が 1 日 5 本 600 行だと、読める量の約 18〜35 倍になる 読む必要がある量: セルフマージで 1 日 PR 5 本 仮定 1 本 600 行 = 1 人 1 日 3,000 行 読める量: いまのレビュー時間で 25 分/日[2] 200〜400 行/時[19,23] = 1 人 1 日 約 85〜165 行 AI 活用度の高いチームでは PR サイズ平均 +154%[4] 1,000 行はたいてい大きすぎ[34] 読む必要がある量 読める量 読まれないまま溜まる: 2,800 行以上 3,000 行 読める量の 約 18〜35 倍 [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [4] Faros AI 2025 The AI Productivity Paradox (vendor research) https://www.faros.ai/blog/ai-software-engineering [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf [23] Kemerer & Paulk 2009 The Impact of Design and Code Reviews on Software Quality https://doi.org/10.1109/TSE.2009.27 [34] Google eng-practices Small CLs https://google.github.io/eng-practices/review/developer/small-cls.html © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 25
26. どうするか AI に全部読ませても、承認と責任は人間に残る 「人を排除しようとする 設計者も、自動化の方法を 思いつけなかった仕事は、 結局その人に 残すことになる」 「PR の承認はしません。 そこは今も人間の判断です」 「コンピューターに責任を 負わせることはできない。 それは、ループの中にいる あなたの仕事だ」 “the designer who tries to eliminate the operator still leaves the operator to do the tasks which the designer cannot think how to automate” “It won't approve PRs; that's still a human call.” “A computer can never be held accountable. That's your job as the human in the loop.” Lisanne Bainbridge (1983)[15] Claude Code の Code Review 機能 Anthropic (2026)[35] Simon Willison (2025)[36] [15] Bainbridge 1983 Ironies of Automation https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf [35] Anthropic 2026 Code Review for Claude Code https://claude.com/blog/code-review [36] Willison 2025 Your job is to deliver code you have proven to work https://simonwillison.net/2025/Dec/18/code-proven-to-work/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 26
27. どうするか: 作業記憶・知らないコード・並列数 人間のゲートを 2 か所に置いて、PR を読める量に収める ゲート 1: 書く前 (設計レビュー) エージェントのループ ゲート 2: 小さな PR ADR の軽い版 テスト・再現・AI レビュー 1 PR 1 テーマ 課題・理由・方針を数行で トークンで何周でも回す 100 行前後[34] 作る範囲が先に決まる 人間の時間は使わない 1 回のレビューに収まる[19] 関係ない変更を入れにくくする[37] 小さい変更のほうが 作り直しが減る[34] 欠陥が見つかった[27] セルフマージ 5本 600 行 3,000 行 仮定 人間のゲートあり 1本 100 行 100 行 仮定 読める量にほぼ収まる 読める量 約 85〜165 行 [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf [27] Baum ほか 2019 Associating Working Memory Capacity and Code Change Ordering with Code Review Performance https://doi.org/10.1007/s10664-018-9676-8 [34] Google eng-practices Small CLs https://google.github.io/eng-practices/review/developer/small-cls.html [37] andrej-karpathy-skills CLAUDE.md (Surgical changes) https://github.com/multica-ai/andrej-karpathy-skills © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 27
28. どうするか: 読む速さ・スケールアウト 人間が読む前に、CI の感覚でトークンを使って検証する エージェントの出力 (大量) トークンで検証する (低コスト)[30] CI・lint の延長 同じ性能のトークンの値段 1 年で約 1/40[38] 足りなければ買い足せる テスト・再現: 確かめる AI レビュー: 候補を拾う 人間のレビュー時間 1 日 約 25 分[2] 人間が読む (高コスト) 短く、検証済みのものだけ 買い足せない [2] Meyer ほか 2021 Today Was a Good Day: The Daily Life of Software Developers https://doi.org/10.1109/TSE.2019.2904957 [30] Theo (t3.gg) 2026 If you have a Claude sub, watch this (YouTube) https://youtu.be/D8PikZ1KhUo [38] Epoch AI 2025 LLM inference prices have fallen rapidly but unequally across tasks https://epoch.ai/data-insights/llm-inference-price-trends © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 28
29. どうするか 本番には少しずつ出して、おかしければすぐ戻す 人間が diff を見る Google SRE 本[39] 明らかに危ないもの・ おかしなものを止める 「100% は、ほぼあらゆるものにとって間違った信頼性の目標」 “100% is the wrong reliability target for basically everything” 一部のユーザーで試す カナリア 少しずつ広げる 段階的なロールアウト 全員に出す 問題がなければ すぐ戻す 戻せることも 検証の一部 「障害のおよそ 70% は、稼働中のシステムへの変更が原因」 “roughly 70% of outages are due to changes in a live system” 変更管理で、自動化してやること 「段階的なロールアウトを実施する」 “Implementing progressive rollouts” 「問題を素早く正確に検出する」 “Quickly and accurately detecting problems” 「問題が起きたら、変更を安全にロールバックする」 “Rolling back changes safely when problems arise” [39] Google 2016 Site Reliability Engineering, Introduction https://sre.google/sre-book/introduction/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 29
30. どうするか: 読む人が足りない OSS プロジェクトは、入ってくる量を減らすか、読む人を増やした 入ってくる量を減らす 読む人を増やす curl: 7 月の約 1 か月、報告の受付を止めた[7] tldraw: 1 月から外部 PR を自動で閉じる[40] Linux kernel のドキュメント: 生成分ほど精査を厳しく[41] Linux kernel のセキュリティ窓口: メンテナを増やした[42] 難しいが、不可能ではない では、クローズドソースの会社では? エージェントが出す PR を減らすには? レビューの人手を増やすには? ゲート 1: 作るものを人間が先に決める 本当にある、よく定義された問題だけを issue に まだ答えを持っていない 1 PR 1 テーマ 1 本を小さく 手がかりは AI レビュー、人間のあとで 「それでも問題を一つか二つ見つける」 “can still find an issue or two” Stenberg (curl)[43] [7] Stenberg 2026 curl summer of bliss https://daniel.haxx.se/blog/2026/06/15/curl-summer-of-bliss/ [40] tldraw 2026 Issue #7695 https://github.com/tldraw/tldraw/issues/7695 [41] Linux kernel docs AI-generated content https://docs.kernel.org/process/generated-content.html [42] Tarreau 2026 Significant raise of reports (LWN comment) https://lwn.net/Articles/1065620/ [43] Stenberg 2026 A human in control https://daniel.haxx.se/blog/2026/06/10/a-human-in-control/ © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 30
31. どうするか スペックは変えられないので、使い方を変える h1.human 人間 1 人、前の世代から変更なし 項目 人間 打ち手 作業記憶 約 4 チャンク 毎分 約 238 語 平均 約 47 分 1 日 2〜4 時間 1 少しずつ読み進める 不可 1 PR の diff を小さく (1 テーマ、100 行前後) 読む速さ 割り込みなしの集中 高負荷の作業 並列数 知らないコード スケールアウト © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. AI の出力は短く、検証済みのものだけ人間へ レビュー 1 回は 1 時間以内 人間のゲートは書く前と PR の 2 か所 書く前に方針を承認しておく (ゲート 1) トークンを買い足して検証に回す 31
32. これから 1 困りごと 読まずに通る diff、追いつかない読み手 2 人間のスペック 読みきれない理由を、上限ごとに見る 3 どうするか 上限ごとの打ち手と、まだ答えのない問い 4 これから チームで測る数字と、持ち帰ってほしい問い © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 32
33. これから 自分のチームで、レビュー時間と PR サイズを測る ① 実際のレビュー時間 (1 日あたり) ② PR サイズの p50 / p90 1 週間、レビューに使った時間を記録する マージ済み PR の追加・削除行数から 分/日 gh pr list --state merged \ --json additions,deletions 200〜400 行/時[19,23] = 1 日に読める量 参考: いまのレビュー時間なら 100〜200 行台 比べる 行 p50 行 p90 行 参考: Google の変更は中央値 24 行[18] 測るのは、この問いに答えるため p90 の PR 1 本は、1 日に読める量に収まる? [18] Sadowski ほか 2018 Modern Code Review: A Case Study at Google https://research.google/pubs/modern-code-review-a-case-study-at-google/ [19] SmartBear 2006 Code Review at Cisco Systems https://static0.smartbear.co/support/media/resources/cc/book/code-review-cisco-case-study.pdf [23] Kemerer & Paulk 2009 The Impact of Design and Code Reviews on Software Quality https://doi.org/10.1109/TSE.2009.27 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 33
34. これから 今年だけで、前提が何度も変わった 4/1 tokenmaxxing トークン消費を 最大化する [44] 1月 1/15 tldraw 外部 PR を [40] 自動で閉じる 2月 3月 4月 4/21 論文 [46] AI 10 体が 存在しない問題に一致 10/1 また戻ってきた [30] 5/28 終わった? [45] 5月 5/26 curl 報告が [5] 2024 年の 4〜5 倍に 6月 7/1 curl 受付を [7] 1 か月 止める 7月 8月 9月 8/3 ミート・プロキシ AI の出力を [12] 中継するだけの人 10 月 11 月 12 月 ? ? 今日 [5] Stenberg 2026 The pressure https://daniel.haxx.se/blog/2026/05/26/the-pressure/ [7] Stenberg 2026 curl summer of bliss https://daniel.haxx.se/blog/2026/06/15/curl-summer-of-bliss/ [12] Gruhn 2026 Don't be a meat proxy https://gruhn.me/blog/2026-08-03/ [30] Theo 2026 If you have a Claude sub, watch this https://youtu.be/D8PikZ1KhUo [40] tldraw 2026 Issue #7695 https://github.com/tldraw/tldraw/issues/7695 [44] Tunguz 2026 Tokenmaxxing https://tomtunguz.com/tokenmaxxing/ [45] Fortune 2026 Tokenmaxxing is over https://fortune.com/2026/05/28/tokenmaxxing-is-dead-companies-didnt-get-the-roi-from-ai-they-wanted-to-see/ [46] Agarwal 2026 Refute-or-Promote https://arxiv.org/abs/2604.19049 © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 34
35. これから 人間をどこに置くか: このあと向き合ってほしい 3 つの問い 1 レビューに使える 1 日の時間と、PR の p50 / p90 は釣り合っていますか? 2 人間のゲートを、どこに置いていますか? 書く前? PR? 3 AI に読ませるものと、人間が読むものを、どこで線引きしていますか? prog893.com #ctonight Is there a terminal state to agentic coding? © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 35
36. ありがとうございました @prog893 #ctonight © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. 36