AOAI Dev Day - Opening Session

オープニングセッションの資料
2024.7.25 AOAI Dev Day @ 大手町プレイスホール&カンファレンス
https://aoai-devday.com/
https://azureai.connpass.com/event/319491/

Transcript

3. "0"*%FW%BZ
5. アンチハラスメントポリシー ü 「嫌がらせ」には、性別、年齢、性的指向、身体障害、体格、人種、宗教に関する不快な発言や、 性的な画像の使用、意図的な脅迫、ストーキング行為、望まない写真撮影や録音・録画、議論の中 断を招く不快な発言、不適切な身体的接触、歓迎すべきでない性的関心を引く行為が含まれます。 ü 嫌がらせ行為を中止するように求められた参加者は、直ちに遵守することが求められます。 ü 参加者が嫌がらせ行為に関与している場合、主催者は、違反者への警告や(たとえ有料イベントであ っても)返金なしでの即時退場など、適切と思われる行動を取ることができます。 ü あなたが嫌がらせを受けている、あるいは他の誰かが嫌がらせを受けていたり、その懸念がある場 合には、すぐにスタッフに連絡してください。 ü スタッフは、参加者が会場のセキュリティまたは警察機関に連絡して護衛を提供したり、またはそ の他の方法でイベントの開催中に当該参加者の安全が担保されることを支援します。つまりわれわ れはあなたの参加を心から歓迎しています。 ü われわれは、すべての参加者が勉強会、カンファレンス、ワークショップといったイベントの会場 やイベント関連のミートアップにおいてこれらの規則に従うことを期待します。
7. サイダス(HRTech SaaS)での構築事例 【アプリケーション】 1. HR FAQ チャットサービス 課題：17,000人→人事への問い合わせ 解決法：FAQと問合せ履歴をRAGでチャット化 2. 社員情報検索サービス 課題：500種類以上の属性の検索条件指定＋複数 APIの使いこなし 解決法：Function Callingで自然言語による問合 せ検索を可能に 3. Job Description Generator 課題：ジョブディスクリプションの作成の手間 解決法：職種と現有社員のプロファイルを参考 に自動生成 【PJ推進】 工数：2名(BizDev 0.5M + Frontend 0.5M) 1. ディスカバリ工程 ◦ ユーザーと対話・ニーズ把握 2. PoC 各1週間 ◦ 達成基準の明確化 3. ベータ提供 +1ヶ月 ◦ ユーザーFB・UX改善 ◦ 利用する技術の入替え ◦ 評価データセットの作成 4. 公式リリース +3ヶ月 ◦ セキュリティレビュー ◦ CI/CDパイプライン整備 ◦ 社内マニュアル整備
10. Azure OpenAI Service + Azure AIサービス群
11. Kazuyuki Miyake / 三宅 和之 • 株式会社ゼンアーキテクツ代表 • Hack Everything. コミュニティ主宰 • Microsoft MVP / Microsoft Regional Director Regional Directors は業界のトップ イベント、先端のコミュニティ グループや地域の取り組み、テクノロジーに重点を置いた企業の運 営、多国籍企業内での飛躍的な進展に関する専門的なアドバイスと 実装に基調を置いています。（Microsoft 公式サイトより）
12. Build や Ignite など4回のシ アトル訪問で情報を収集 Azure の Serverless に最適化 された RAG パターンを発表 10社以上のエンタープライ ズシステムに RAG を導入 500人以上のエンジニアに RAG ワークショップを提供 RAG・RAG・RAG の1年半でした Build・Ignite 現地参加 Azure RAG パターン発表 RAG 導入支援 RAGワークショップ
13. RAG アーキテクチャ + Well-Architected Framework のアプローチで Cosmos DB Vector Store .. Managed ID.. Multi Model, Serveless … LLMOps … PTU, SLM…
14. July 2024 【経歴】 • システム及びサービス開発に関する15年間の経験を有し、特に家電メーカでの電子マネーシステム及び家電 クラウドの開発・運用に従事 • クラウドベンダーにてIoT事業開発に携わり、製造・建設業界におけるデジタルトランスフォーメーション （DX）の推進業務に従事 • AIソフトウェアを中心としたオペレーショナルテクノロジー（OT）を提供するベンチャー企業でCPOとして 事業開発、営業、マーケティングに従事し、グロース市場への上場を実現 榎並利晃 （えなみ としあき） 日本マイクロソフト株式会社 Director Head of Microsoft Innovation Hub Japan
15. 多くのお客様で生成 AI 導入が急激に進む 従業員の壁打ちチャットボット 25 万人時 手作業の削減量 社内情報の検索 コールセンター 日本における一般的な生成 AI 導入のユースケース 従業員の壁打ちとしてアイデア出し、 情報の要約や言語翻訳 2 3 1 2 3 社内に散らばる様々な資料を統合 対話をベースに必要なドキュメントの検索 お客様からの問い合わせを受ける コールセンターの最適化
16. 進化し続ける生成AI GPT-3 テキスト生成 Stable Diffusion 画像生成 Midjourney 画像生成 ChatGPT テキスト生成 VALL-E 音声生成 GPT-4 テキスト生成 生成系AIが急速に普及 応答速度、性能 改善、SLMなど 進化とともにアーキテクチャ、アプリケーション実装方式、運用方法なども変化 エンジニアが正しく認識し、本格的な業務への適用が必要
17. コミュニティ立ち上げの経緯 あらゆる方面で Azure + AI 開発に対する高いモチベーションと知識ニーズを感じ、 デブサミ Hack Azure AI Tour Ignite Japan
18. AIエージェントによる社会シミュレーション Generative Agents 25人のAIエージェントをスモールビル（Smallville）と呼ばれる仮 想的な町に住まわせることにより、AIエージェント同士でどのよ うな創発が生まれるかを観察したプロジェクト。 住民が自発的に他の住民をパーティーに誘ったり、パーティー当 日のためのカフェの飾り付けを共同で行ったりした観察結果に基 づき、論文ではAIエージェント同士が創発的に協働し合うことの できる可能性が示された。
19. Generative Agents, Inc. AWS Serverless Heroとして日本におけるサーバーレスの普 及を促進。 「ChatGPT/LangChainによるチャットシステム構築［実 践］入門」（技術評論社）共著、「Azure OpenAI Serviceで はじめるChatGPT/LLMシステム構築入門」（技術評論社） 共著、「AWSによるサーバーレスアーキテクチャ」（翔泳 社）監修、「サーバーレスシングルページアプリケーショ ン」（オライリー）監訳、「AWSエキスパート養成読本」 （技術評論社）共著。 ChatGPT Community（JP）主催 大規模言語モデルを組み込んだアプリケーションやAIエージ ェントの開発を実施。 個人ではエンジニア向けの勉強会開催や教材作成など。オン ラインコースUdemyではベストセラー講座多数。 「ChatGPT/LangChainによるチャットシステム構築［実 践］入門」（技術評論社）共著。 勉強会コミュニティStudyCo運営。 事業会社の顧問CTOとして活動するソフトウェア開発のスペ シャリスト。AIエージェントを経営に導入することにより、 あらゆる業種業態の生産性を高めるための活動に尽力してい る。 「その仕事、AIエージェントがやっておきました。 ――ChatGPTの次に来る自律型AI革命」（技術評論社）単著、 Software Design「実践LLMアプリケーション開発」（技術 評論社）連載。 西見 公宏（にしみ まさひろ） 吉田 真吾（よしだ しんご） 大嶋 勇樹（おおしま ゆうき） 代表取締役CEO / Founder 取締役COO / Co-founder 取締役CTO / Co-founder
20.  ֎෦ιʔε౷߹ܕ2"αʔϏεʲσεΫτοϓϦαʔνʳ ʮ̋̋ࢢ৔ͷ੒Γཱͪͱࠓޙͷల๬ʯʮ೔ຊͷ୅ʹ͍· ྲྀߦͬͯΔ΋ͷʯ  ϝλσʔλ׆༻ܕ෼ੳʲ5FYUUP42-ʳ ʮաڈ೥ؒͷ࢛൒ظ͝ͱͷച্τοϓ੡඼ͱɺͦͷ஍Ҭ ผ಺༁Λڭ͑ͯʯ  ΧελϚʔαϙʔτͷڧԽʲߴ౓ͳνϟοτϘοτʳ ʮ্࢘Λ"ENJOͱͯ͠ɺ෦ԼΛҰൠϢʔβʔͱͯ͠৽͍͠ ϩʔϧ࡞੒ͱ৽نϢʔβʔ௥Ճ͍ͨ͠ʯ  ίϯςϯπੜ੒ͷࣗಈԽ ϒϩάهࣄɺιʔγϟϧϝσΟΞ౤ߘɺ੡඼આ໌จ΍αϜω Πϧը૾ͳͲͷίϯςϯπͷࣗಈੜ੒  ίʔυੜ੒ͱ࠷దԽ ࣗવݴޠˠίʔυੜ੒ طଘίʔυͷ࠷దԽ *TTVF΍13࡞੒ɺઆ໌จͷهࡌͳͲ エージェントとは、環境を認識し、目標を達成するために自律的に 行動する存在 ü ໨ඪͷෳࡶ͞ ͲΕ͚ͩࠔ೉ͳ໨ඪΛୡ੒Ͱ͖Δ͔ʁͲΕ͚ͩ෯޿͍໨ ඪΛୡ੒Ͱ͖Δ͔ʁ ü ؀ڥͷෳࡶ͞ ໨ඪΛୡ੒͢ΔͨΊͷ؀ڥ͸ͲΕ͚ͩෳࡶ͔ʁ ü దԠੑ ৽͍͠ঢ়گ΍༧ظͤ͵ঢ়گʹͲΕ্͚ͩख͘ରԠͰ͖Δ ͔ʁ ü ಠཱ࣮ͨ͠ߦ ͲΕ͚ͩগͳ͍ਓؒͷհೖ΍؂ಜͰɺ৴པੑΛ࣋ͬͯ໨ ඪΛୡ੒Ͱ͖Δ͔ʁ
21.  ֎෦ιʔε౷߹ܕ2"αʔϏεʲσεΫτοϓϦαʔνʳ ʮ٢ాਅޗ͞ΜͬͯͲΜͳਓʁʯʮ೔ຊͷ୅ʹ͍·ྲྀߦ ͬͯΔ΋ͷʯ  ϝλσʔλ׆༻ܕ෼ੳʲ5FYUUP42-ʳɿࣗવݴޠ͔Βෳࡶ ͳΫΤϦΛੜ੒͢Δ ʮաڈ೥ؒͷ࢛൒ظ͝ͱͷച্τοϓ੡඼ͱɺͦͷ஍Ҭ ผ಺༁Λڭ͑ͯʯ  ΧελϚʔαϙʔτͷڧԽʲߴ౓ͳνϟοτϘοτʳ ʮ্࢘Λ"ENJOͱͯ͠ɺ෦ԼΛҰൠϢʔβʔͱͯ͠৽͍͠ ϩʔϧ࡞੒ͱ৽نϢʔβʔ௥Ճ͍ͨ͠ʯ  ίϯςϯπੜ੒ͷࣗಈԽ ϒϩάهࣄɺιʔγϟϧϝσΟΞ౤ߘɺ੡඼આ໌จ΍αϜω Πϧը૾ͳͲͷίϯςϯπͷࣗಈੜ੒  ίʔυੜ੒ͱ࠷దԽ ࣗવݴޠˠίʔυੜ੒ طଘίʔυͷ࠷దԽ *TTVF΍13࡞੒ɺઆ໌จͷهࡌͳͲ エージェントとは、環境を認識し、目標を達成するために自律的に 行動する存在
22. Text-to-SQL / マルチエージェントで精度向上 CHESS: Contextual Harnessing for Efficient SQL Synthesis https://arxiv.org/html/2405.16755v1 1. キーワードの抽出 2. 関連性の高いデータとそのカラム情報を Retrieveする 3. テーブルとカラムを選定する 4. 候補を生成する 5. 修正する ü スキーマリンクとクエリ生成のプロセスを 分ける ü サンドボックス実行と修正を繰り返す MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL https://arxiv.org/abs/2312.11242
23.  ֎෦ιʔε౷߹ܕ2"αʔϏεʲσεΫτοϓϦαʔνʳ ʮ٢ాਅޗ͞ΜͬͯͲΜͳਓʁʯʮ೔ຊͷ୅ʹ͍·ྲྀߦ ͬͯΔ΋ͷʯ  ϝλσʔλ׆༻ܕ෼ੳʲ5FYUUP42-ʳɿࣗવݴޠ͔Βෳࡶ ͳΫΤϦΛੜ੒͢Δ ʮաڈ೥ؒͷ࢛൒ظ͝ͱͷച্τοϓ੡඼ͱɺͦͷ஍Ҭ ผ಺༁Λڭ͑ͯʯ  ΧελϚʔαϙʔτͷڧԽʲߴ౓ͳνϟοτϘοτʳ ʮ্࢘Λ"ENJOͱͯ͠ɺ෦ԼΛҰൠϢʔβʔͱͯ͠৽͍͠ ϩʔϧ࡞੒ͱ৽نϢʔβʔ௥Ճ͍ͨ͠ʯ  ίϯςϯπੜ੒ͷࣗಈԽ ϒϩάهࣄɺιʔγϟϧϝσΟΞ౤ߘɺ੡඼આ໌จ΍αϜω Πϧը૾ͳͲͷίϯςϯπͷࣗಈੜ੒  ίʔυੜ੒ͱ࠷దԽ ࣗવݴޠˠίʔυੜ੒ طଘίʔυͷ࠷దԽ *TTVF΍13࡞੒ɺઆ໌จͷهࡌͳͲ エージェントとは、環境を認識し、目標を達成するために自律的に 行動する存在 ˙ܭըϑΣʔζ ü ϦϙδτϦΧετσΟΞϯΤʔδΣϯτ ü ϚωʔδϟʔΤʔδΣϯτ ˠΩοΫΦϑϛʔςΟϯάͰ։ൃܭըɾνʔϜΛ࡞੒ ˙ίʔσΟϯάϑΣʔζ ü ։ൃऀΤʔδΣϯτ ü 2"ΤϯδχΞΤʔδΣϯτ ˠϨϏϡʔͱϚʔδ MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution https://arxiv.org/abs/2403.17927v1
24. 直接的課題 ü タスクの適合性評価 ü 実行環境の制約やアクションの承認の 課題 ü エージェントのデフォルト動作の設定 ü エージェントアクティビティの可読性 ü 自動モニタリング ü 帰属性・追跡性 ü シャットダウン機能と制御の維持 エージェンティックなAIシステムが安全に社会に普及するために Practices for Governing Agentic AI Systems https://openai.com/index/practices-for-governing-agentic-ai-systems/ 間接的課題 ü 拙速な採用による悪影響・脆 弱性 ü 労働市場への影響・採用不均 衡 ü サイバー攻撃と防御のバラン スの変化