Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
Search
masatoto
March 26, 2023
Design
0
130
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
ユーザーニーズと提供価値の明確化について
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
Weekly AI Agents News!
masatoto
12
3.4k
ICLR2024 LLMエージェントの研究動向
masatoto
8
2.5k
生成AIを用いたText to SQLの最前線
masatoto
1
2.3k
LLMマルチエージェントを俯瞰する
masatoto
26
16k
マルチモーダルLLMの応用動向の論文調査
masatoto
7
2.9k
信頼できるLLMは何を満たすべきか(Trustworthy LLMs)
masatoto
1
1.5k
判断根拠の不確実性を活用したデータ改善手法の提案
masatoto
0
660
NLP2023 分類タスクにおける不確実性の高い文章の傾向調査
masatoto
0
870
人間中心のAIプロダクト開発に向けて意識すること ~データ収集と評価~
masatoto
0
120
Other Decks in Design
See All in Design
Webアプリケーションアクセシビリティ解説ウェビナー「8章 アクセシブルなUI設計の原理を導く」
magi1125
1
170
3D空間を扱うUI表現とユーザビリティ
akinen
0
450
業務システムのUX/UI設計ノウハウを解説。デザイナー不在で失敗しないために身につけるべき基本とは?
ncdc
2
300
素晴らしき余白の世界
kasumidyaya
1
110
2024デザすぷVol.4 新年会/ Design Sprout Bar vol-4
root_recruit
1
320
The Fight
euralisw
0
110
メドレーという会社と デザインチームのひみつ/About Medley design team
medley
0
400
コラボレーションを小さくはじめ、大きく広める - 相互理解のためのデザイン&開発交流会, Friends of Figma Tokyo by Yasuhiro Yokota
yasuhiroyokota
2
1.2k
Wishing Star Comic
torije
2
1.2k
20240120_画像生成AI_NovelAI入門・情報収集
doradora09
0
120
デザインをみんなのものに 「デザインの脱植民地化」を日本の文脈で考える
mayunak
7
4.1k
231206_Book-launch-event_kato
hjmkth
2
1.2k
Featured
See All Featured
Designing for humans not robots
tammielis
248
25k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
What's in a price? How to price your products and services
michaelherold
238
11k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
Docker and Python
trallard
35
2.7k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
A Philosophy of Restraint
colly
197
16k
A designer walks into a library…
pauljervisheath
201
23k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
19
6.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること ユーザーニーズと提供価値の明確化 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
ユーザーニーズと成功の定義 ユーザーに価値を提供できなければ失敗する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する プロダクトの機能とユーザーニーズがマッチするか評価
①ユーザーニーズを知る ユーザーリサーチを通じて課題仮説の検証段階(Customer Problem Fit) • 前提︓価値を届けたいユーザーは特定済み • ⼿順︓ユーザー調査 → 課題仮説磨き
→ 業務プロセスにAIを対応付け ポイント • 予算と時間の許す限り、多くの⼈にインタビューをすること • ⼈と話し、⾏動を観察することで、あなたの思考を技術中⼼から⼈間中⼼に移していく インタビューのコツや課題仮説の磨き⽅の参考資料 https://note.com/storywriter/n/n22a19bb2200e
AIの強みを活かすとユーザーはどう感じるか 業務の特定部分を⾃動化する製品をユーザーがどう感じるかを観察 • ユーザー調査 → 課題仮説磨き → AIを業務プロセスに対応付け(Problem Solution Fit)
ポイント 「オズの魔法使い法」によるテストをおこなう • 紙芝居式でインタビュアーがタスクの各ステップを説明し、ユーザーに体験をイ メージさせる⽅法
[実践] ⼈間中⼼にマインドセットを変える 「AIを__(ある業務の課題)___に使えないだろうか︖」ではなく、以下を 問いかける。 • __(ある業務の課題)___をどのように解決しようか︖ • AIは、(ある業務の課題)を独⾃の⽅法をもって解決できるのだろうか︖ この質問はどちらかというとマーケットインの考えが強い。 ⼀⽅で、新しい技術をどこに役⽴つか仮説を⽴てて、
社内に問いかけていく中で、想定顧客の業務に詳しくなることもある。
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 解決すべき課題を⾒つけ、AIが正しい⼿段であると判断したら評価⽅法を考える。 AIで提供できることには、⾃動化と拡張・⽀援がある。
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏ ChatGPT含め、⽣成系の影響が⼤きい。 信頼を得るまで「⽀援」をし、その後「⾃動化」へ進む場合もある。 ⼤規模⾔語モデルはどこまで貢献できるか ネックはプロンプトの⼊⼒⻑制限と⾦額 Fine-Tuning vs In-Context Learning
[実践] ヒアリング ユーザー(例ドメインエキスパート)にヒアリングする際の質問事項 ⾃動化の場合 • もし、あなたが新しい同僚に同じような仕事を教えるなら、まず何を教えますか • 教えるとしたら、どのようなことを⼀番に考えますか • どの頻度でその仕事を繰り返しますか
拡張・⽀援の場合 • もしこの仕事を⼀緒にするアシスタントがいるとしたら、どんな仕事をさせますか • 同上
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 評価関数により、AI の成功と失敗を定義 製品のダウンストリーム効果を想像し、潜在的な負の結果を抑える
そして、⻑期的なユーザーの利益を最適化する
③評価指標はユーザー体験に影響を及ぼす 偽陽性と偽陰性を⽐較検討する • 偽陽性重視︓誤警報が増える、 興味ない曲が推薦される • 偽陰性重視︓異常の⾒逃しを減らす、ドキュメントのタグ分類の場合、タグは必要最低限がつく 適合率と再現率のトレードオフを考慮する • このトレードオフは、偽陰性を重視するか、偽陽性を重視するかになる。
• ユーザーは何を期待しているか、何がタスク達成と思えるかに基づいて考える。
結果を注意深く分析する シンプルな評価指標では⾒逃される悪影響がある。 事前に落とし⽳を想像する • 結果の結果を考える。基本は良い。 • 評価指標が完全に最適化されたら、社員/ユーザー/その友⼈や家族/より広い社会に何が起こるか • 例えば、マッチング率100%になったが、結婚率が上がらない可能性がある。 ⼊⼒の限界値を調べる
• 性別、年齢、体型、など、少数派のユーザーや条件に不都合があるか確認する。 時間をかけて劣化するか監視する • 時間と共にデータとユーザーは成⻑する。 • プロダクトを使って100⽇⽬や1000⽇⽬のユーザー体験を考える。 • 需要予測はデータの変化が⼤きいので、評価期間の設計は丁寧に議論する。
個⼈的な失敗と学び ① ユーザーのニーズとAIの強みの共通部分を⾒つける • ユーザーニーズのヒアリングを数件しても結局、当初想定していた課題の域を中々でなかった。 • 会社の壁もあり、想定したユーザーにヒアリングできないことがあった。 • AIの機能が課題に対応しているが、肝⼼の精度が届かなかった。 ②
AIの強み「⾃動化」と「⽀援」を評価する • ⼯数削減など効率性の指標が重視され、集中⼒の削減や精神的負担を下げる業務の「⽀援」が 重視されにくかった。 ③ 評価指標を設計する • ドメインエキスパートが普段使っている評価指標を最初にヒアリングし忘れていた。 • プロダクトに、エクセルのように、評価指標を追加できるようになっていなかった。