AI Agent時代なのでAWSのLLMs.txtが欲しい！

color is【クラウドLT大会vol.13】 でお話しした内容です。

Transcript

1. color is クラウドLT⼤会vol.13 AI Agent時代なので AWSのLLMs.txtが欲しい！ 2025/02/27
2. 自己紹介 渡邉 洋平(watany) • 所属：NTTテクノクロス株式会社 ◦ 最近「AWS 500 APN Certification Distinction」に認定 • Personal ◦ JAWS-UG東京 運営 ◦ AWS Ambassadors(2024) ◦ Japan AWS All Certifications Engineers(2022~)
3. AI Agent時代なので AWSのLLMs.txtが欲しい！ コレナニ？
4. 世はまさに LLM-Agent時代 Computer use(Antropic) https://docs.anthropic.com/en/docs/agents-and-tools/c omputer-use Browser-use(OSS) https://github.com/browser-use/browser-use Deep Research(OpenAI等) https://openai.com/index/introducing-deep-research/ Agentが ブラウジング！ Agentが 検索→推論→分 析！ Agentが PC操作！
5. どうやって実現しているか？ https://www.irasutoya.com/2016/04/blog-post_78.html
6. どうやって実現しているか？＝アツいスクレイピング https://www.irasutoya.com/2019/03/blog-post_84.html https://www.irasutoya.com/2016/04/blog-post_78.html Agent！ Go！
7. どうやって実現しているか？＝アツいスクレイピング https://www.irasutoya.com/2019/03/blog-post_84.html https://www.irasutoya.com/2016/04/blog-post_78.html それって 良いの？ Go！ Go！ Agent！ Go！
8. あまり良くない https://www.irasutoya.com/2019/03/blog-post_84.html 認証対応 めんどくさ Botアクセス あかんか 人間用のマー クアップって 読みづらい 無駄に SSRし てサーバ動い てない？ AIアクセス禁止だと 読まれなくなる？ Botか？WAFで 弾いたろ https://www.irasutoya.com/2014/02/blog-post_2205.html
9. あまり良くない https://www.irasutoya.com/2019/03/blog-post_84.html 認証対応 めんどくさ Botアクセス あかんか 人間用のマー クアップって 読みづらい 無駄に SSRし てサーバ動い てない？ AIアクセス禁止だと 読まれなくなる？ Botか？WAFで 弾いたろ https://www.irasutoya.com/2014/02/blog-post_2205.html 誰も幸せになって いないのである
10. どうすればよかったか？
11. LLMs.txt
12. LLMs.txt ? LLM向けの課題を解決するための提案 • /llms.txt • Webページの構成をLLMに伝えるプレー ンなテキスト • H1 から始める • リンク集をMarkdown形式で列挙 • 優先度低の項目はOptionalとして下 部に
13. LLMs.txt ? LLM向けの課題を解決するための提案 • /llms-full.txt サイト情報をMarkdown形式で表す 完全なドキュメント 例：Honoの/llms-full.txt https://hono.dev//llms-full.txt
14. つまり https://www.irasutoya.com/2019/03/blog-post_84.html https://www.irasutoya.com/2014/02/blog-post_2205.html https://www.irasutoya.com/2020/11/blog-post_82.html 〇〇機能の 説明を探したい Overviewが 知りたい 公式ドキュメント を読みたい /llms.txt /llms-full.txt /
15. これと同じ説明を読んだが？ 私がBlogの筆者なので。。。 https://zenn.dev/watany/articles/0b28a6 8a2dffc3 本登壇の準備として Zennに書いた記事
16. Appendix. 考察 なぜMarkdown？ • MarkupはLLMには過剰(<div>などの大量のタグ) • SSR/ISRなどのユーザ体験は、Agentには不要 • シンプルなテキストファイル＋LLMの相性がいい ◦ ex.NotebookLM
17. AI Agent時代なので AWSのLLMs.txtが欲しい！ ちょっと わかった
18. AI Agent時代なので AWSのLLMs.txtが欲しい！ これが欲しいの はなぜ？
19. LLMs.txt directory Cloudflareはある https://directory.llmstxt.cloud/llms.text
20. LLMs.txt directory AWS/Azure/GoogleCloudはない https://directory.llmstxt.cloud/llms.text
21. なぜAWSのLLMs.txt が欲しいか 前提：2025/02/25リリースのClaude 3.7、知識は2024/10まで まあ駄目だよね。 生成AIを活用してAWS 環境作っていいっすか？ 4か月遅れの知識で https://www.irasutoya.com/2018/03/blog-post_778.html
22. なぜAWSのLLMs.txt が欲しいか バージョンロックがなくLatestしかないパブリッククラウドと、最新の知識を持たない LLMの相性はいまいち https://www.irasutoya.com/2016/04/blog-post_78.html https://www.irasutoya.com/2012/12/blog-post_6178.html それって 過渡期だけの 問題？ しばらく同様 なのでは (個人見解 )
23. LLMs.txt があると？ コンテキスト に入れば 助かるわ RAGのイン プットとしても 使いやすい Agent的にも 読みに行く 内容が明確 https://www.irasutoya.com/2012/12/blog-post_6178.html
24. 実例：OSS(AWS CDK)
25. 直接HTMLだとパースしづらい https://docs.aws.amazon.com/cdk/api/v2/docs/aws-cdk-lib-readme.html
26. OSSのドキュメントはどこ？ https://github.com/aws/aws-cdk/blob/main/packages/aws-cdk-lib/aws-apigateway/README.md OSSはGitHubに 元テキストがある ことも多い
27. どうやって llms.txtを？ 元ファイルがMarkdown形式なら、Scriptで組み立てられる 例：Honoのサイトは自動で組み立てている https://github.com/honojs/website/blob/main/scripts/build-llm-docs.ts
28. 実例：AWS公式ドキュメント
29. 直接HTMLだとパースしづらい 公式サイトはこんな構成 https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html
30. PDFでも読める …？ https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html
31. ClaudeでOCRできるらしい！ Claudeモデルに「HTMLで再現して」と頼むといいらしい https://qiita.com/moritalous/items/f5afd052992afa40d524
32. RSSという手もある AWSのユーザドキュメントはRSS配信 もしている ここをうまいことParseするのも良さそう https://docs.aws.amazon.com/bedrock/latest/userguide/bedrock-ug.rss
33. 実装は間に合わなかった！ ごめんなさい🙇 ※たぶん難易度は高くない
34. まとめ • LLMs.txtという概念がある。 ◦ 規格は変わるかもだが、考え方を覚えておくと有用 • AIに最新仕様を読ませる選択肢を思い浮かべられるようにしておこう ◦ 来るべき生成AI開発時代へ…！
35. color is…? (おまけ) AI Agent時代なので AWSのLLMs.txtが欲しい！ 文字色・吹き出し： #c0ffee 背景・吹き出し文字： 3f0011