Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
APIを使わずWinActorでAIを使ってみた話
Search
たまい
December 19, 2023
Technology
0
1.5k
APIを使わずWinActorでAIを使ってみた話
たまい
December 19, 2023
Tweet
Share
More Decks by たまい
See All by たまい
WinActor ver7.6.0 新機能紹介
tamai_63
0
190
業務ヒアリングと知識の呪い
tamai_63
0
580
どこよりも遅めなWinActor Ver.7.5.0 新機能紹介
tamai_63
0
930
今のうちにデータを整理しておこう
tamai_63
1
1k
技術サポートでよく見かけるパターンと便利な活用方法
tamai_63
0
790
WinActorの勉強を継続する方法
tamai_63
0
840
二刀流でWinActorを活用してみた話
tamai_63
0
300
Wで考えるDX 推進
tamai_63
0
700
タイパよく理想のジェンヌさんを作っちゃう話
tamai_63
0
610
Other Decks in Technology
See All in Technology
microCMS 最新リリース情報(microCMS Meetup 2025)
microcms
0
100
制約理論(ToC)入門
recruitengineers
PRO
2
300
Goss: Faiss向けの新しい本番環境対応 Goバインディング #coefl_go_jp
bengo4com
0
1.4k
JavaScript 研修
recruitengineers
PRO
2
170
KiroでGameDay開催してみよう(準備編)
yuuuuuuu168
1
130
事業価値と Engineering
recruitengineers
PRO
1
220
あなたの知らない OneDrive
murachiakira
0
240
[CV勉強会@関東 CVPR2025 読み会] MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos (Li+, CVPR2025)
abemii
0
190
知られざるprops命名の慣習 アクション編
uhyo
10
2.5k
AIエージェントの開発に必須な「コンテキスト・エンジニアリング」とは何か──プロンプト・エンジニアリングとの違いを手がかりに考える
masayamoriofficial
0
390
ABEMAにおける 生成AI活用の現在地 / The Current Status of Generative AI at ABEMA
dekatotoro
0
660
自社製CMSからmicroCMSへのリプレースがプロダクトグロースを加速させた話
nextbeatdev
0
130
Featured
See All Featured
How to Ace a Technical Interview
jacobian
279
23k
How to train your dragon (web standard)
notwaldorf
96
6.2k
The Cost Of JavaScript in 2023
addyosmani
53
8.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Facilitating Awesome Meetings
lara
55
6.5k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Rails Girls Zürich Keynote
gr2m
95
14k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Making Projects Easy
brettharned
117
6.3k
Transcript
APIを使わず WinActorでAIを 使ってみた話
目次 1. 本日の内容と作ろうと思ったきっかけ 2. 無料の生成AIチャットサービスについて 3. どうやってUIを操作するか 4. 実際にWinActorで自動化してみた 5.
まとめ
1.本日の内容と作ろうと思ったきっかけ
1.本日の内容と作ろうと思ったきっかけ ① WinActorで無料の生成AIチャットサービスを操作 ② 今回はAPIがないのでWinActorでUI操作を自動化 ③ プロンプトで指定しても想定外の回答が出ることもある
1.本日の内容と作ろうと思ったきっかけ 企業ブログを作ることになったよ! SEO対策もしてがっつり作るから 下調べしてから記事を書いてね♪ めんどくさいにゃ~… はい、よろこんで! ……たまいさん! 本音が駄々洩れですよ。 作成にあたってのルールもあるので マニュアルを参考に作ってください
1.本日の内容と作ろうと思ったきっかけ チートシートを作成 マニュアルをいちいち見なくていいし、 リンクをまとめたから調査しやすく なったぞ! ……でも調査結果をコピー&ペースト で まとめる作業が手間だなぁ~。 コピペ作業をWinActorで自動化したい!
2.無料の生成AIチャットサービスについて
2.無料の生成AIチャットサービスについて 今回使用するサービスについて 無料・回数制限なしのアプリなのでいろんなプロンプトを試せる! ◆ 無料で生成回数など制限なしで利用可能。 ◆ 生成物は個人的用途、商業的用途を問わず利用可能。 ◆ 日本語向けに最適化されている。 ◆
用途別にカスタマイズされた生成ツールが多数用意 されており、プロンプトを試行錯誤しなくても意図 した文章を得られる。 ◆ 今後以下の機能が追加される予定。 私だけの生成AIツールツールビルダー 画像も生成可能な便利なチャット 文書ファイルも認識するスマートチャット
3.どうやってUIを操作するか
3.どうやってUIを操作するか プロンプトをチャットに入力して生成されたコードブロックをコピー
4.実際にWinActorで自動化してみた
3.どうやってUIを操作するか 上図の手順で自動化したWinActorのシナリオの動画をご覧ください メモ帳からプロンプトをコピー 得られた記事をメモ帳へ上書き保存 プロンプト.txt
5.まとめ
まとめ ① WinActorで無料の生成AIチャットサービスを操作 • 意外とUI操作は可能だったがブラウザ操作関連の知識や代替の手段が必要だった • 無料かつ回数制限なしのサービスなので試行錯誤しやすかった • ただし「現段階」の話なので利用規約が変わり有料になることも考慮する必要がある ②
今回はAPIがないのでWinActorでUI操作を自動化 • APIがなくてもUI操作で自動化は可能 • アプリがどこまで自動化の操作ができるかWinActorで探る必要がある • APIでしか実現できないこともあるので今回の方法がベストでない場合もある ③ プロンプトで指定しても想定外の回答が出ることもある • そもそも生成AIでの回答が正しいとは限らない • プロンプトでコントロールできる部分は書き方の基本と試行錯誤が必要 • 今回のブログ記事も「たたき台」として生成しあとで自分で内容を精査する