Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon BedrockでClaude 3.5 Sonnet v2のComputer u...
Search
Champ
October 29, 2024
Technology
0
89
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
Champ
October 29, 2024
Tweet
Share
More Decks by Champ
See All by Champ
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
1
460
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
160
Amazon Qの全体像を掴んでみよう!
champ
0
55
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
320
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
430
Other Decks in Technology
See All in Technology
Kiroでインフラ要件定義~テスト を実施してみた
nagisa53
3
300
Agent Development Kitで始める生成 AI エージェント実践開発
danishi
0
120
クマ×共生 HACKATHON - 熊対策を『特別な行動」から「生活の一部」に -
pharaohkj
0
290
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
4
500
alecthomas/kong はいいぞ
fujiwara3
6
1.4k
20250728 MCP, A2A and Multi-Agents in the future
yoshidashingo
1
210
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
320
dipにおけるSRE変革の軌跡
dip_tech
PRO
1
230
마라톤 끝의 단거리 스퍼트: 2025년의 AI
inureyes
PRO
1
670
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
3
1.1k
AIに全任せしないコーディングとマネジメント思考
kikuchikakeru
0
440
Featured
See All Featured
Fireside Chat
paigeccino
37
3.6k
For a Future-Friendly Web
brad_frost
179
9.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Cost Of JavaScript in 2023
addyosmani
51
8.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Java REST API Framework Comparison - PWX 2021
mraible
32
8.8k
Become a Pro
speakerdeck
PRO
29
5.5k
Transcript
Amazon Bedrock で Claude 3.5 Sonnet v2 の Computer use
を試す
自己紹介
1. Computer Use API とは Claude 3.5 Sonnet V2 の新機能(ベータ版)
生成系 AI が画面のスクショを見て、マウスカーソルの移動、クリック、キーボー ド入力などの操作を実行可能 以下から利用可能: Anthropic API Amazon Bedrock 主な特徴: スクリーンショットベース操作 マウス・キーボード制御 ブラウザ操作
2. Computer Use Demo について Anthropic が提供する公式サンプルコード: GitHub: anthropics/anthropic-quickstarts Computer
Use API を簡単に試せる環境を提供 デモ環境の特徴: Docker コンテナで起動 Streamlit による Web UI が用意されており、Computer Use API を利用した画面操作 の様子が見れる
3. デモ <別画面で動画を開く>
3. デモ すごい!うごいた! でも、どうやっているの?
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 ユーザーからの指示(プロンプト) 画面のスクリーンショット
Anthropic が定義したツール Computer Tool(マウス・キーボード操作) Text Editor Tool(テキスト編集) Bash Tool(コマンド実行) 2. Claude の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 スクリーンショットの解析 ユーザーからの指示を理解 適切なツールの選択 アクションのシミュレーションし実行すべき操 作を生成 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行 Claude から実行すべきコマンド・操作を受信 アプリケーション側で実際の操作を実装・実行 結果を新しいスクリーンショットとして取得
5. まとめ 1. Computer Use Demo を使うことで簡単に Computer Use API
を試せる 2. Claude がやってくれるのはコマンドやアクションの生成まで 3. コマンドやアクションを実行するには自分たちが実装する必要があるが、サンプ ルコードが充実しているのでそこまで難しくない