Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Amazon BedrockでClaude 3.5 Sonnet v2のComputer u...
Search
Champ
October 29, 2024
Technology
160
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
Champ
October 29, 2024
Transcript
11 slides
Amazon Bedrock で Claude 3.5 Sonnet v2 の Computer use
を試す
自己紹介
1. Computer Use API とは Claude 3.5 Sonnet V2 の新機能(ベータ版)
生成系 AI が画面のスクショを見て、マウスカーソルの移動、クリック、キーボー ド入力などの操作を実行可能 以下から利用可能: Anthropic API Amazon Bedrock 主な特徴: スクリーンショットベース操作 マウス・キーボード制御 ブラウザ操作
2. Computer Use Demo について Anthropic が提供する公式サンプルコード: GitHub: anthropics/anthropic-quickstarts Computer
Use API を簡単に試せる環境を提供 デモ環境の特徴: Docker コンテナで起動 Streamlit による Web UI が用意されており、Computer Use API を利用した画面操作 の様子が見れる
3. デモ <別画面で動画を開く>
3. デモ すごい!うごいた! でも、どうやっているの?
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 ユーザーからの指示(プロンプト) 画面のスクリーンショット
Anthropic が定義したツール Computer Tool(マウス・キーボード操作) Text Editor Tool(テキスト編集) Bash Tool(コマンド実行) 2. Claude の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 スクリーンショットの解析 ユーザーからの指示を理解 適切なツールの選択 アクションのシミュレーションし実行すべき操 作を生成 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行 Claude から実行すべきコマンド・操作を受信 アプリケーション側で実際の操作を実装・実行 結果を新しいスクリーンショットとして取得
5. まとめ 1. Computer Use Demo を使うことで簡単に Computer Use API
を試せる 2. Claude がやってくれるのはコマンドやアクションの生成まで 3. コマンドやアクションを実行するには自分たちが実装する必要があるが、サンプ ルコードが充実しているのでそこまで難しくない
More Decks by Champ
See All by Champ
MCPサーバー、AWSのどこに置く?
champ
0
170
Kiro CLI 徹底解剖
champ
0
59
Amazon Bedrockの自動推論チェックを検証!
champ
0
48
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
1
590
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
260
Amazon Qの全体像を掴んでみよう!
champ
0
100
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
420
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
500
Other Decks in Technology
See All in Technology
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
190
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
620
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
240
認知負荷の減らし方 ~開発にも日常業務にも活かせるノウハウ~
minorun365
PRO
15
9.3k
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
240
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
420
gem install とrequire のむこうがわ
ydah
0
250
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
280
SORACOM × AWS IoT Core でSREする
butadora
0
120
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
490
AIエージェントのアーキテクチャ設計
nsatoh
0
420
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
480
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.7k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
460
The Invisible Side of Design
smashingmag
301
52k
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
2
330
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
69k
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
signer
PRO
0
3.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
287
14k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
So, you think you're a good person
axbom
PRO
2
2.3k
Intergalactic Javascript Robots from Outer Space
tanoku
273
28k
Between Models and Reality
mayunak
4
600