Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Ai Workforceを支える技術
Search
LayerX
PRO
August 07, 2024
Technology
1
270
Ai Workforceを支える技術
2024年8月6日に開催されたLayerX AI-UX Night「次世代のユーザー体験と現在地」のイベントにて、AI・LLM事業部プロダクト開発チームEMの篠塚史弥が登壇した際の資料になります。
LayerX
PRO
August 07, 2024
Tweet
Share
More Decks by LayerX
See All by LayerX
事前準備が肝!AI活用のための業務改革
layerx
PRO
0
20
開発スピードを落とさないために必要なイネーブルメント組織の在り方
layerx
PRO
1
240
プロジェクト推進におけるLLMチューニング
layerx
PRO
2
470
バクラク事業部 5分でわかるQAチーム
layerx
PRO
1
310
Fintech事業部流・爆速開発
layerx
PRO
2
310
Beyond PoC〜LLMを本番業務で適用するためにLayerXで取り組んでいること〜
layerx
PRO
5
1.6k
Fintech Casual Night #1〜LayerX Fintech事業部、その実態とは!?〜
layerx
PRO
0
330
Fintech Casual Night #1 -Tech- ALTERNAチームの働き方
layerx
PRO
0
340
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
5
3.2k
Other Decks in Technology
See All in Technology
PDF Viewer作成の今までとこれから
hunachi
0
190
可視化により内部品質をあげるAIドキュメントリバース/20240910 Hiromitsu Akiba
shift_evolve
0
160
PdMはどのように全てのスピードを上げられるか ~ 非連続進化のための具体的な取り組み ~
sansantech
PRO
1
140
不動産売買取引におけるAIの可能性とプロダクトでのAI活用
zabio3
0
190
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
120
AIで変わるテスト自動化:最新ツールの多様なアプローチ/ 20240910 Takahiro Kaneyama
shift_evolve
0
170
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
170
AWS SAW を広めたい @四国クラウドお遍路
kazzpapa3
0
210
RAGHack: Building RAG apps in Python
pamelafox
0
150
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
7
880
Tricentisにおけるテスト自動化へのAI活用ご紹介/20240910Shunsuke Katakura
shift_evolve
0
160
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
268
26k
Adopting Sorbet at Scale
ufuk
73
8.9k
A designer walks into a library…
pauljervisheath
201
24k
Making Projects Easy
brettharned
113
5.8k
Documentation Writing (for coders)
carmenintech
65
4.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Speed Design
sergeychernyshev
20
420
What's new in Ruby 2.0
geeforr
340
31k
How to Ace a Technical Interview
jacobian
275
23k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
27
7.4k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Transcript
© LayerX Inc. Ai Workforceを支える技術 2024/08/06 篠塚 史弥 LayerX AI-UX
Night「次世代のユーザー体験と現在地」
2 Confidential © 2024 LayerX Inc. 篠塚 史弥 LayerX AI・LLM事業部プロダクト開発チームEM
プロダクト開発のリード、開発チームのマネジメントを行う傍ら、 LLM PoCプロジェクトのPMや顧客へのプロダクト導入の推進を担う 元FiNC Technologies, CTO X: @shinofumijp
© LayerX Inc. 3 今日話すこと Ai Workforceの実装について話します!
© LayerX Inc. 4 Ai Workforceの概要 AIワークフロー構築 AIワークフロー実行 AIワークフロー結果 レビュー・修正
AIワークフロー改善
AI-UXを支える技術
© LayerX Inc. 6 インフラ構成 (全体) • Azure上にアプリケーションを構築 • SPA+APIサーバー+非同期処理
Workerの標準的なWebアプリケーショ ン構成 • APIサーバーと非同期処理Workerの間 のコミュニケーションはAzure Queue Storageを利用 • AIソリューションにはAzure OpenAI Service, Azure AI Document Intelligence, Azure AI Searchを 利用 Azure Container Apps Azure Container Apps Azure Application Gateway Azure Cosmos DB Azure OpenAI Service Azure AI Document Intelligence Azure AI Search Azure Blob Storage Azure Queue Storage SPA APIサーバー 非同期処理Worker App Service
© LayerX Inc. 7 Azure Container Apps App Service Azure
Container Apps Azure Application Gateway Azure Cosmos DB Azure OpenAI Service Azure AI Document Intelligence Azure AI Search Azure Blob Storage Azure Queue Storage SPA APIサーバー アプリケーションワークロード と利用技術 • フロントエンドはApp Service、APIサー バー・非同期処理Workerのワークロードは Azure Container Apps • フロントエンドはTypeScript(React)、 APIサーバーはPython(FastAPI)、非同期 処理WorkerはPython ◦ ワークフローエンジンは自前実装 • Azure OpenAI Service, Azure AI Document Intelligenceなど時間がかか る処理はWorkerを介して非同期的に実行 非同期処理Worker
AI-UXを支える機能事例の紹介
© LayerX Inc. 9 AIワークフロー結果のレビュー・修正機能 レビュー機能はAI-UXの根幹 - LLM処理の精度は100%にはならない - 人間が業務を遂行する上で「間違いがない」出力を得たい
- 人間の手によって精度の不足を補完する必要がある 人間がAIの間違いをすぐに見つけられ 容易に修正できる体験が重要
© LayerX Inc. 10 抽出元のページ をクリック 参照元をハイライト ※出典) 3M. (2024).
3M 2023 Annual Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
© LayerX Inc. 11 参照元ハイライト機能の実装 ①Azure AI Document IntelligenceでOCR 処理をして、テキストの座標を取得
②LLM処理で参照元となるテキスト情報を取得 ③①と②の結果からLougeスコアでマッチするもの を判定 LLM処理結果に参照元の座標情報を付与する ④フロントで座標情報に基づきハイライト Azure AI Document Intelligence Azure OpenAI Service フロントApp ドキュメント ① ② ③ ④
© LayerX Inc. 12 AI-UXはデザインとソフトウェアの総合格闘技戦 AI-UXは「AI精度」「プロダクト体験」「ソフトウェアエンジニアリング」によって支えられる - AI精度とプロダクト機能は不可分 - AI精度もタスク設計に合わせた評価指標が重要
- AI精度を補うためのプロダクトデザインとそれを実現するためのエンジニアリング
© LayerX Inc. 13 AI-UX向上のための今後の展望 ①LLMネイティブな体験・UIの追求 ②AI精度の継続的な改善のための監視基盤の構築 ③AI精度とプロダクト体験をより統合したソフトウェア開発