Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GitHub Copilotは僕らを WCAG準拠にしてくれるのか?~GitHub Copil...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →

GitHub Copilotは僕らを WCAG準拠にしてくれるのか?~GitHub Copilot appによるアクセシビリティ改善の現実~

GitHub Copilotは僕らを WCAG準拠にしてくれるのか?~GitHub Copilot appによるアクセシビリティ改善の現実~
GitHub Copilot Dev Days 2026 at Osaka
https://gh-cug.connpass.com/event/410145/

Avatar for tomokusaba

tomokusaba PRO

October 28, 2026

More Decks by tomokusaba

Other Decks in Technology

Transcript

  1. やったこと 同一コミット 固定条件 GPT-5.6 Luna 同じリポジトリ GPT-5.6 Luna + ハーネス

    同じIssue GPT-6 Luna 同じ初期コード 同じ完了要求 HydraFusion 同じ評価対象
  2. 今回用意したハーネス 観測 修正 実行 再検査 停止条件 ハーネスあり条件で明示 Playwright MCP axe-core

    修正前後の検査 違反フィンガープリント比較 キーボードとフォーカスの手動確認 最大パス数 証拠付き最終報告
  3. GPT-5.6 LunaとGPT-6 Lunaの差 GPT-5.6 Luna GPT-6 Luna 既存のモーダル ネイティブな<dialog> +

    + JavaScriptによる補強 ブラウザ標準動作 メッセージ GPT-5.6 Lunaは既存構造を修理した。 GPT-6 Lunaは構造そのものを見直した。
  4. 代替テキストでは判断が分かれた GPT-5.6 Luna GPT-6 Luna HydraFusion alt="幾何学模様のサンプルイラスト" alt="" alt="情報を整理して確認する人のイラスト" 考察

    GPT-5.6 Lunaは視覚的内容を説明した GPT-6 Lunaは装飾画像と判断した HydraFusionは画像へ意味を与えた ソースだけでは、どれが正解か確定できない メッセージ axe-coreはaltの存在を確認できても、 その内容の妥当性までは保証できない。
  5. 追加実験 GPT-6 Luna + Accessibility Tree 主な観測結果 AI Credits:9.71 追加指示:Accessibility

    Treeを根拠に判断 公開サイト:正常に稼働中 通知サービス:注意が必要 管理画面:停止中 alt="" は追加指示なしの条件と共通 altだけでは追加指示の効果を判定できない 状態表示は、色名から意味のある文言へ 考察(因果関係は未検証) 利用者に伝わる状態を具体的な言葉で表現
  6. AIは何を見て判断したのか GPT-6 Luna GPT-6 Luna + 追加指示 HTML Accessibility Tree

    DOM 利用者に伝わる 名前・役割・状態 ARIA 操作結果 コードを見る → 体験を見る 同じモデルでも、判断の根拠を変える。 ハーネス設計には「何を観測させるか」も含む。
  7. HydraFusionは何を変えたのか Before After アクセシビリティ検査 テストページ サービス稼働状況 | Access Check 見つけにくい情報を

    集めました。 必要な情報を、 誰にでも見つけやすく。 考察 違反修正の範囲を超え、 コンテンツとサービスの意味まで変更した。
  8. コストと価値 AI Credits比較 条件 GPT-6 Luna GPT-5.6 Luna GPT-5.6 Luna

    + ハーネス GPT-6 Luna + Accessibility Tree HydraFusion 今回の単一タスク、単一実行における観測値。 モデル一般の価格性能を示すものではない。 AI Credits 4.04 4.65 5.76 9.71 84.2
  9. HydraFusionは約21倍のクレジットを 使用 今回の測定値では、 84.2 ÷ 4.04 ≒ 20.84 つまりHydraFusionはGPT-6 Lunaの約20.8倍の

    AI Creditsを消費しました。 ただし比較すべきなのは、単純な消費量だけではありません。 どこまで問題を解決したか どこまで仕様を変更したか 人間のレビュー負担が増えたか その再設計に価値があるか
  10. モデル単価だけでは実行コストは決まらない 今回の結果 条件 しかし、注目したいのは AI Credits GPT-6 Luna 4.04 GPT-5.6

    Luna 4.65 GPT-5.6 Luna + ハーネス 5.76 HydraFusion 84.2 GPT-6 Lunaが少なかった理由 入力・出力のモデル単価が低く、 少ない消費量はある程度予想できた。 要因の特定には実行ログの確認と反復測定が必要。 GPT-5.6 LunaとHydraFusion この差は単価だけで説明できるか? 影響している可能性(推測) 探索量 再検査回数 試行錯誤 再設計範囲
  11. コストの差は「解いている問題」の差でもある GPT-5.6 Luna GPT-5.6 Luna + ハーネス GPT-6 Luna HydraFusion

    違反を修正する 違反修正を 検証可能にする アクセシブルな 構造へ改善する 体験全体を 再設計する HydraFusionは高コストだった。 しかし、それは同じ作業を20倍やったのではなく、 そもそも別のレベルの問題を解こうとしていた可能性がある。
  12. まとめ GPT-5.6 Luna:違反を修正した GPT-5.6 + ハーネス:検査と修正の手順を安定させた GPT-6 Luna:アクセシブルな構造へ改善した GPT-6 +

    Accessibility Tree:利用者に伝わる状態を改善した HydraFusion:サービス体験全体を再設計した 今回の観測からの示唆。因果関係の検証には反復測定が必要。 AIに何を見せるかで、解く問題が変わる 観測対象もハーネス設計の一部になる
  13. PyCon mini Tokyo with PythonAsia conference 日本とアジアのPythonコミュニティが交流する1日 2026/12/12(土) 10:00〜19:00 会場

    日本語・英語の2トラック GMO Yours・フクラス 渋谷フクラス16階 基調講演 Seth Larson / Mike Fiedler (Python Software Foundation) 一般 1,500円 学生 500円 パトロン 10,000円 参加登録はconnpassへ(事前決済) pyconjp.connpass.com/event/404336/
  14. 開催日のお知らせ PyCon mini Shizuoka 2027 2027/2/27(土) 会場 B-nest & 静岡市コクリ

    前回と同じ会場です。ぜひ予定の確保をお願いします! #pyconshizu 2027でお会いしましょう! 参加・プロポーザル・スポンサーの募集は追って告知します。 pycon-shizu.connpass.com/event/409477/ 詳細はconnpassへ