Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AIの不確実性と向き合うためのオブジェクト指向設計
Search
takuya kikuchi
March 24, 2024
Technology
3
5.9k
生成AIの不確実性と向き合うためのオブジェクト指向設計
Object-Oriented Conference 2024 でのランチセッション資料です。
セッションでは、本資料をベースに 増田亨さんとディスカッションさせていただきました。
takuya kikuchi
March 24, 2024
Tweet
Share
More Decks by takuya kikuchi
See All by takuya kikuchi
生成AI時代のソフトウェアエンジニアが持つべきケイパビリティを考える
tkikuchi1002
7
1.2k
RAGをテーマに考える、LLMの認知アーキテクチャとソフトウェア設計
tkikuchi1002
2
680
Azure AI SearchとPromptFlowではじめるRAG
tkikuchi1002
2
960
法人向けChatGPTにおける Azure OpenAI Serviceの課題解決の過程と現在
tkikuchi1002
1
1.7k
LLMエンジニアリングを加速させるソフトウェアアーキテクチャ
tkikuchi1002
2
4.7k
WebAPIのバリデーションを、型の力でいい感じにする
tkikuchi1002
0
53
GoとDDDでモバイルオーダープラットフォームを 型安全に作り直した話
tkikuchi1002
0
60
Kotlinのcoroutine、async/awaitと同じでしょ?って思ってたけど意外と洗練されててすごいなぁって思った話をさせてほしい
tkikuchi1002
0
51
使いやすいインターフェースについて考える
tkikuchi1002
0
12
Other Decks in Technology
See All in Technology
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
How to Think Like a Performance Engineer
csswizardry
4
590
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.2k
ゆめみのアクセシビリティの現在地と今後
ryokatsuse
3
290
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
910
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8k
What is DRE? - Road to SRE NEXT@広島
chanyou0311
3
630
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
34
1.9k
How to train your dragon (web standard)
notwaldorf
79
5.5k
Facilitating Awesome Meetings
lara
46
5.8k
Clear Off the Table
cherdarchuk
89
320k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
The Mythical Team-Month
searls
217
43k
Faster Mobile Websites
deanohume
303
30k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
Web development in the modern age
philhawksworth
203
10k
Happy Clients
brianwarren
94
6.5k
Building Adaptive Systems
keathley
34
2k
Fantastic passwords and where to find them - at NoRuKo
philnash
42
2.7k
Transcript
takuya kikuchi @ Algomatic シゴラクAIカンパニーCTO 2024-03-24 Object-Oriented Conference 2024 ⽣成AIの不確実性と向き合うためのオブ
ジェクト指向設計
⾃⼰紹介 業務系アプリケーションのソフトウェア開発者 モデル駆動設計 Java/Spring Boot/IntelliJ IDEA/JIG 有限会社システム設計 代表 コミューン株式会社 技術顧問
2 増田 亨(ますだ とおる)
フィンテックスタートアップにおいて開発リー ドやVPoEとして開発組織構築を担当したほか、 モバイルオーダープラットフォームを⼿がける Showcase GigではVPoTとして技術領域全般を 管掌。2024年、AlgomaticにカンパニーCTOと して参画。ソフトウェア開発、設計、ドット絵 が好き X: @_pochi
Algomatic シゴラクAIカンパニー CTO 菊池 琢弥 / Takuya Kikuchi 3 © 2024 Algomatic Inc.
⽣成AIで⼼躍る未来を創る Algomaticは、DMMからの20億円の投資を頂き、領域問わず、 ⽣成AIネイティブなプロダクトを次々と⽣み出し、⼼躍る未来を創ります。 会社名 事業内容 代表 グループ会社 株式会社 Algomatic ⼤規模⾔語モデル等⽣成AIを活
⽤したサービスの開発‧提供 ⼤野 峻典 合同会社 DMM.com 4 © 2024 Algomatic Inc.
5 © 2024 Algomatic Inc.
None
シゴラクAIカンパニー 「全てのデスクワーカーに⽣成AIの価値を届け、⼈の持つ価値を最⼤化させる」 7 © 2024 Algomatic Inc. ‧法⼈向けChatGPT ‧社内FAQ Bot
‧...
エンジニア積極採⽤中です!!!! https://jobs.algomatic.jp/ カジュアル⾯談お申し込みお待ちしてます!!! 8 © 2024 Algomatic Inc.
⽣成AI、活⽤してますか? 9 © 2024 Algomatic Inc.
⽣成AI、プロダクトに組み込んでますか? 10 © 2024 Algomatic Inc.
⽣成AIを「使う」ということ 11 • ⽇々の開発において活⽤する ◦ GitHub Copilot / Copilot /
ChatGPT / Cursor … • プロダクトに組み込む © 2024 Algomatic Inc.
⽣成AIを「使う」ということ 12 • ⽇々の開発において活⽤する ◦ GitHub Copilot / ChatGPT /
Cursor… • プロダクトに組み込む →こちらの話をメインにします © 2024 Algomatic Inc.
13 ❶ ⽣成AIのユースケース ❷ ⽣成AIプロダクトの難しいところ アジェンダ
⽣成AIのユースケース 14 © 2024 Algomatic Inc.
15 B2Bのシステムを作っていると、「扱いにくいデータ」に出くわすことが多い たとえば: 飲⾷店向けシステム: - 「メイン商品の売り上げを集計したい!」 - 「アイスクリームの売り上げ個数を集計したい!」 ⽣成AIのユースケースを技術視点で考える ©
2024 Algomatic Inc. レストランB • パンケーキ • いちごパンケーキ • アイス • コーヒー • 紅茶 レストランA • ハンバーグ定⾷ • チキン南蛮定⾷ • コーラ • パンケーキ • アイスクリーム
⽣成AIのユースケースを技術視点で考える これまでシステムで扱いにくかったデータを扱いやすくなる ⾃然⾔語 ⾮構造化データ 表記揺れ etc… 16 © 2024 Algomatic
Inc.
⽣成AIのユースケースを体験から考える 17 「⾃社サービスの顧客は、"AAAA"のうち、どの体験を求めているんだろう」 © 2024 Algomatic Inc. AI時代のユーザ体験は「 AAAA」モデルで考えよう| Dory
https://note.com/dory111111/n/n03eac77e5197
⽣成AIのユースケースを体験から考える • Automation(⾃動化) ◦ ⼈がやりたくない作業(危険、⼼理的にしんどい、など) ◦ ⼈ではやりきれない作業(量が多すぎるとか) • Agent(代⾏) ◦
⼈が持っていない知識、スキルに基づいた作業など • Advice(助⾔) ◦ ⼈が責任を取る必要がある作業 ◦ ⼈の内省、成⻑を促す作業など • Augment(強化) ◦ たのしい作業 ◦ リアルタイム性が求められる作業 © 2024 Algomatic Inc. 18
⽣成AIのユースケースを体験から考える 19 • 「やってみないとわからない」が結構多い ◦ これまで:なるべく作らない ◦ → まず作って、感動 (あるいはがっかり)してみることが⼤事 ©
2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 20 © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 21 • 基盤技術の進歩が早い ◦ 2022年 11⽉: ChatGPT (OpenAI) ◦
2023年 7⽉: GPT-4 API (OpenAI) → めっちゃかしこい ◦ 2023年 11⽉: GPT-4 Turbo (OpenAI) → (従来⽐)回答が早い ◦ 2023年 11⽉: GPT-4-V, DALL-E3 (OpenAI) → テキスト以外の⼊出⼒が可能になった ◦ 2023年 12⽉: Gemini (Google) ◦ 2024年 2⽉: groq (Groq) → 回答速度が驚くほど早い ◦ 2024年 2⽉: Gemini Ultra (Google) ◦ 2024年 2⽉: Claude3-Opus (Anthropic) → かしこい、⻑⽂を扱うタスクの精度が⾼い © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 22 • ちなみにそれぞれ何が違うの? ◦ コンテキスト⻑ ▪ AIに渡せる⽂字数の⻑さ。GPT-4では8k~32kだったが、 GPT-4 Turboでは128k,
Claude 3 Opusでは200k, Gemini1.5 Proは 1M。 ▪ 参考: 100ページ程度の説明書: 20k tokenほど ◦ 価格 ▪ やりとりしたトークン数(⽂字数)による従量制。安いほど嬉しい ◦ 速度 ▪ 早いほど嬉しい。ただし、賢いモデルほど速度は遅くなりがち ◦ 精度 ▪ ⾔語処理タスクのスコア。GPT-4が基準にされがち。 © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 23 • シンプルに「遅くて⾼額なAPI」 ◦ 何でもかんでも使えるわけではない ◦ 使える部分、使えない部分を⾒極める ▪ 「⼀時的に⽣成AIで楽をして、あとからちゃんと作る」などもあったりする
◦ 体験設計も含めて検討が必要 • ⽣成AIとの結合度合いをどう考えるか ◦ 別のモデルに切り替えることになるかも ◦ LLMを使わない実装に切り替えることになるかも ▪ →いざとなったら切り離せる設計が必要なことも多い ◦ プロダクトのコアはどこか、変わりうる部分、変わらない部分はどこか © 2024 Algomatic Inc.
まとめ - 基盤技術の進歩が早く、技術的に不確実性が⾮常に⾼い - 新技術を活⽤できるということが事業優位性に⼤いに寄与する - 新技術を即座にプロダクトに組み込むことが求められることも多い - Claude3, Groq…
24 © 2024 Algomatic Inc.
エンジニア積極採⽤中です!!!! https://jobs.algomatic.jp/ カジュアル⾯談お申し込みお待ちしてます!!! 25 © 2024 Algomatic Inc.
Appendix 26
27 © 2024 Algomatic Inc. 「社内ナレッジチャット」機能
補⾜: RAGとは • 外部のデータベースや知識をもとにした回答を⼤規模⾔語モデルに⽣成させ る技術 © 2024 Algomatic Inc. 28
Algomatic 社内 ドキュメント 経費申請 どうしたらいい? ⼀般的にはこうだよ! 経費申請 どうしたらいい? このフォームから必要事 項を記⼊して送ってね! 検索 検索結果 RAGなし RAGあり
RAGとは - RAGの頑張りどころ • RAGの営みをざっくり整理すると ◦ ユーザーの発話から「何を知りたいのか」を認識し ◦ 答えるために必要な情報を検索し ◦
検索結果を踏まえ、正しくわかりやすい回答を⽣成する © 2024 Algomatic Inc. 29 Algomatic 社内 ドキュメント 引っ越しました! このフォームから住所変 更してね! 検索 検索結果