大規模言語モデルを Fine Tuning すべきタイミングとその方法

プロダクトを生成系 AI で成長させるのになぜ Fine Tuning が必要なのか、どのような手順で進めればよいのかを解説したスライドです。
ビジネスモデルを決める Biz 、生成系 AI の特性を活かし迅速に検証する Dev 、将来の差別化を目指し生成系 AI をカスタマイズする ML のステップごとに解説し、なぜ AWS が一連のプロセスを行うのに最適なのかご説明します。

Biz フェーズを支援するワークショップ資料はこちらです。
https://github.com/aws-samples/aws-ml-enablement-workshop

W&B 東京ミートアップで発表させて頂きました。
https://wandb.connpass.com/event/291609/

Transcript

1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 大規模言語モデルを Fine Tuning すべきタイミングとその方法 Takahiro Kubo Developer Relations Machine Learning
2. © 2023, Amazon Web Services, Inc. or its affiliates. 2 Prompt Engineering から一歩進んで Fine Tuning を行うビジネス 面でのメリットと、 その時 AWS と Weights & Biases を組み合わ せて使うメリットについて知って頂く。 本セッションのゴール
3. © 2023, Amazon Web Services, Inc. or its affiliates. 3 自己紹介 アマゾン ウェブ サービス ジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Kubo Takahiro) ミッション 「機械学習を実用するなら AWS 」という認知を拡大すること。 10 年以上の業務コンサルタント経験、また研究開発していたテーマをプロダクトと してリリースした経験をもとにお話しします。
4. © 2023, Amazon Web Services, Inc. or its affiliates. 4 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda
5. © 2023, Amazon Web Services, Inc. or its affiliates. 5 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda
6. © 2023, Amazon Web Services, Inc. or its affiliates. おさらい : 事前学習 (Pre-training) 6 テラバイト規模のデータ 基盤モデル / 大規模言語モデル 事前学習 (Pre-training) 数十億~数百億 パラメーターを持つ
7. © 2023, Amazon Web Services, Inc. or its affiliates. 7 テキスト生成 要約 情報抽出 Q&A チャットbot 基盤モデル / 大規模言語モデル 幅広なタスクの実行 追加学習データ Fine Tuning Prompt Engineering 入力調整 (プロンプト) モデルのパラメーター を更新しない おさらい : Fine-tuning と Prompt Engineering
8. © 2023, Amazon Web Services, Inc. or its affiliates. 8 前提 : Prompt Engineering と Fine Tuning は併用できる Prompt Engineering Fine Tuning Both
9. © 2023, Amazon Web Services, Inc. or its affiliates. 9 おさらい: Prompt Engineering と Fine Tuning の種類 Prompt Engineering Fine Tuning Prompt Tuning: プロンプトの書き方を工夫し望みの出 力が得られるよう調整すること。 In Context Learning: プロンプト内 (= コンテキスト ) に少 数の学習データを含め望みの出力が得 られるよう誘導 (= 学習 ) すること。 Continuous Pretraining: 固有分野 ( ドメイン ) やタスクの知識 を追加学習により増強すること。 Instruction Tuning: プロンプトと出力のペアで追加学習す ることで振る舞いの精度を高めること。
10. © 2023, Amazon Web Services, Inc. or its affiliates. 10 Prompt Engineering と Fine Tuning のメリット・デメリット Prompt Engineering Fine Tuning • テキストが書ければ誰でも行える。 • 学習データが必要ない。 • プロンプト内で例示することは可能。 • 検索と組み合わせて知識拡張可能。 • 挙動のコントロールは限定的。 • ハルシネーションの問題が残る。 • 自由度が高く属人性が生まれやすい。 • 知識を補完し正確な返答ができる。 • 少ない指示で望みの回答が得られる。 • 入出力トークン数課金ではコストに効く • 小さいモデルで代替しコストを改善。 • 追加データが必要。 • 学習するための計算資源が必要。 • 学習のための技術的な知識が必要。
11. © 2023, Amazon Web Services, Inc. or its affiliates. 11 Prompt Engineering のみではプロダクトに蓄積された データによりモデルの価値が高まることはない。 価値 データ データが増えても学習させな い限り精度は改善しない。 学習済みのモデルで高い価値
12. © 2023, Amazon Web Services, Inc. or its affiliates. Instruction Tuning の効果の例 : Gorilla Llama ベースの、 API 呼び出しに特化したモデル 12 自然言語のテキストを、 適切な API 呼び出しに変換する =>どんどん正確にならないと困る
13. © 2023, Amazon Web Services, Inc. or its affiliates. 13 価値を高めるためには、蓄積されるデータで継続的に学習す る必要がある。 価値 データ 通常の機械学習モデル Prompt Engineering で使う大規模言語モデル Fine Tuning で使う大規模言語モデル
14. © 2023, Amazon Web Services, Inc. or its affiliates. Customer Experience Traffic Data Data Driven Decision Growth 14 機械学習によるプロダクトの成長サイクル
15. © 2023, Amazon Web Services, Inc. or its affiliates. Customer Experience Traffic Data Data Driven Decision Growth 15 機械学習によるプロダクトの成長サイクル Prompt Engineering のみでは改善のサイク ルが回らない =データが顧客体験の 改善につながらない
16. © 2023, Amazon Web Services, Inc. or its affiliates. 16 OpenAI が実施した成長サイクル Customer Experience Traffic Data Data Driven Decision Growth ① GPT-3 ④ InstructGPT ② API Access ③ API Requests/ Responses Data 参考: Training language models to follow instructions with human feedback ⑤ ChatGPT
17. © 2023, Amazon Web Services, Inc. or its affiliates. 17 プロダクトに蓄積されるデータでモデルを学習させることで顧客体験 を継続的に高める、成長サイクルを実現するため。 大規模言語モデルを選択し Fine Tuning する理由
18. © 2023, Amazon Web Services, Inc. or its affiliates. Fine Tuning により改善できる顧客体験 18 より最新かつ 十分な知識に 基づく よりコスト 効率が良い Continuous Pretraining Instruction Tuning より端的な指示 でも適切に振舞う
19. © 2023, Amazon Web Services, Inc. or its affiliates. 19 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda
20. © 2023, Amazon Web Services, Inc. or its affiliates. Biz Dev ML 20 Fine Tuning でモデルの価値を高める 3 ステップ
21. © 2023, Amazon Web Services, Inc. or its affiliates. 21 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning でモデルの価値を高める 3 ステップ
22. © 2023, Amazon Web Services, Inc. or its affiliates. 22 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ
23. © 2023, Amazon Web Services, Inc. or its affiliates. 成長サイクルを実現させる 3 つの条件を確認する。 1. 機械学習が顧客の問題を解決している 2. 顧客体験の改善がビジネスの問題解決につながる 3. ビジネスの KPI 改善が機械学習の精度改善につながる 23 機械学習 顧客の問題 パンフレットを制作し たいが、独自性のある 画像を用意したり探し たりするのが手間。 イメージをテキストで 入力することで画像素 材を生成する機能。 ビジネスの問題 画像編集に使う有償 機能の使用回数が伸 び悩んでいる。 有償機能のトライアル数増 例 : 画像生成 AI 機能の例 ① ② ③
24. © 2023, Amazon Web Services, Inc. or its affiliates. Canva はロゴやチラシ、バナーなどを デザインできる SaaS 型のサービス。 Stable Diffusion のモデルをベースに 3 週間で機能をリリース。 顧客は、イメージに合う画像がない時 にテキストからの指示で画像を生成で きる。 事例 : Canva が Amazon SageMaker と Amazon Rekognition を使用し 1 億ユーザーにテキストから画像を生成する AI を提供した方法 画像引用: AI イラスト生成 24 実際の事例 : Canva での AI イラスト生成
25. © 2023, Amazon Web Services, Inc. or its affiliates. 25 Biz: 成長サイクルを設計する 3 つの条件の成立は、 ビジネスモデルキャンバスを使うと可視化しやすい。
26. © 2023, Amazon Web Services, Inc. or its affiliates. 26 おさらい : ビジネスモデルキャンバス 2005 年に経営コンサルタントのアレクサンダー氏が発案した フレームワーク。フレームワークを解説した 「ビジネスモデルジェネレーション 」は 45 カ国の実践者により 執筆され、シリーズの累計部数は 14 万部に上る。 画像引用 : 翔泳社の書籍サイトより 本屋で平積みにされているのを 見たことがある方もいるのでは ?
27. © 2023, Amazon Web Services, Inc. or its affiliates. 協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams ビジネスモデルキャンバスの図 : 9 象限で表現 27
28. © 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 協力者 Key Partners 主要活動 Key Activities 資源 Key Resources 価値提供 Value Propositions 顧客との関係 Customer Relationships 販路 Channels 顧客セグメント Customer Segment コスト構造 Cost Structure 収益の流れ Revenue Streams デザイン機能 Stable Diffusion ソフトウェア と統合 無料 必要な画像が 手に入らない ユーザー Stability AI AI イラスト 生成 28 ホーム ページ 画像作成数 増加 モデル学習 費用 ①顧客の問題解決 ②ビジネスの 問題解決 実際のテキスト と画像ペア ③モデルの 継続的改善 有償ユーザー化
29. © 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 29 https://www.canva.com/ja_jp/ai-image-generator/ 画像生成した後に、有償の編集機能を提案。 「画像がなければ編集されない」というビジネスの問題を生成 AI により解決している
30. © 2023, Amazon Web Services, Inc. or its affiliates. Canva の例 : 成長サイクルを成立させる 3 つの条件の確認 30 https://www.canva.com/ja_jp/ai-image-generator/ 画像生成機能自体から有償プランへのコンバージョンも狙う
31. © 2023, Amazon Web Services, Inc. or its affiliates. 31 Biz: 成長サイクルを設計する 生成系 AI が継続的に顧客とビジネスの問題を解決す ることをビジネスモデルキャンバスで確認しよう。
32. © 2023, Amazon Web Services, Inc. or its affiliates. 32 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ
33. © 2023, Amazon Web Services, Inc. or its affiliates. 33 今まで機械学習を行うときは「まずデータを用意して」が最初の言葉 だったが、生成系 AI によりすぐに試せるように。 Dev : Prompt Engineering でタスクを設計する
34. © 2023, Amazon Web Services, Inc. or its affiliates. 34 Dev : Prompt Engineering でタスクを設計する 例 : 議事録から Todo を抽出し担当者 にリマインドメールを送る機能。 生成系 AI 前: 1. 名前を抽出するモデルを開発 2. Todo を抽出するモデルを開発 3. メール文面テンプレートに穴埋めな どして文章を作成するプログラムを 開発。 いずれもデータの収集やモデルの開発 が必要。 生成系 AI 後: 1. プロンプトを作成し出力結果が受容 可能か確認 ( 割といい感じになる )
35. © 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 1. すぐに使えるモデルで「価値提供」できるか検証する。 35 文書作成 チャットボット 分析結果記述 文書要約 動画生成 動画編集 音声変換 話者変換 (VTuber等) コード生成 データ生成 プロトタイプ生成 3D オブジェクト生成 製品デザイン、創薬 素材画像生成 画像編集 音声合成 音楽生成 音声/音楽編集 参考: Exploring opportunities in the generative AI value chain
36. © 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 2. Biz で想定したビジネスモデルとのギャップを明確にする • ①顧客体験: 知識が足りないのか、振る舞いが適切でないのか • ②ビジネス価値: 「コスト構造」と「収益の流れ」はバランスするか • ③体験改善: 蓄積されるデータはより良い体験に繋がるか 36
37. © 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件 (1/2) • 運用要件 顧客体験の継続的改善に必要な更新頻度 • セキュリティ要件 インターネット経由での通信や海外サービスの利用が許容されるか。 • 信頼性の要件 サービスレベルとしてどの程度の耐障害性を求めるか。 • パフォーマンスの要件 どの程度のレスポンスで応答を返すべきか。 37 参考 : Well Architected Framework
38. © 2023, Amazon Web Services, Inc. or its affiliates. Point : コストの見積りに欠かせない非機能要件(2/2) • コストの要件 想定される利用頻度とパフォーマンスの実現にかかるコストが 許容されるか。 • 持続可能性の要件 会社として進めるサステナビリティの施策や報告と 一致するか。 38 利用可能なサービスや価格プラン、 アーキテクチャに影響 参考 : Well Architected Framework
39. © 2023, Amazon Web Services, Inc. or its affiliates. Dev におけるタスク設計の進め方 3. あるべき顧客体験に修正したデータを作成する • 入出力データをあるべき形に修正する。学習には 1000 件程度が目安。 39
40. © 2023, Amazon Web Services, Inc. or its affiliates. Point : 良いデータ、良くないデータ 40 品質が高い 幅広いサンプル 実際の入出力に基づく 多い 品質が低い 似たデータが多い 自動生成された 少ない 品質の高いデータにより効率的な学習ができることが示唆されている。 LIMA: Less Is More for Alignment など
41. © 2023, Amazon Web Services, Inc. or its affiliates. 41 Dev : Prompt Engineering でタスクを設計する すぐに使える生成系 AI の利点を活かし成長サイクル に必要な 3 つの要件が成立するか確認する。
42. © 2023, Amazon Web Services, Inc. or its affiliates. 42 Biz Dev ML 成長サイクルを設計する 生成系 AI により継続的に顧客体験が改善する ビジネスモデルを設計する。 Prompt Engineering でタスクを設計する すぐに使える生成系 AI によりビジネスモデルが 成立するか検証する。 モデルを選択し Fine Tuning する プロダクトに蓄積したデータでモデルを学習することで 継続的に顧客体験を改善する Fine Tuning (ML) に至る 3 ステップ
43. © 2023, Amazon Web Services, Inc. or its affiliates. 43 ML : モデルを選択し Fine Tuning するステップ データの準備 学習 評価 Dev 段階から着手
44. © 2023, Amazon Web Services, Inc. or its affiliates. 44 ML : モデルを選択する時のトレードオフ 精度 コスト ( パラメーター数 ) 精度が高いモデルほどパラメーター数 が多くコストがかかる
45. © 2023, Amazon Web Services, Inc. or its affiliates. 45 自社の成長サイクルを回すための必要十分なモデルを選択 (* DeepLearning.ai Finetuning Large Language Models より)。 ELMo (2018) BERT-Large (2018) GPT-2 (2019) Turing NLG (2020) GPT-3 (2020) Switch-C (2021) … 100B 1B 1T 10T 10B 100 M 400M から 1B 程度の モデルから始める(*)。
46. © 2023, Amazon Web Services, Inc. or its affiliates. 日本語大規模言語モデルのパラメーター数 46 OpenCALM (CyberAgent) gpt-neox (rinna) japanese-stablelm-alpha (Stability AI) japanese-large-lm (LINE) weblab (東大松尾研) 1B 3B 7B small: 160M medium: 400M large: 830M 1B 3B 7B small: 204M 3.6B 3.6B (sft) 3.6B (sft-v2) 3.6B (ppo) bilingual-4B 4B (sft) 4B (8k) 4B (ppo) 4B (minigpt4) 7B 7B (instruct) 7B+ (instructblip) 1.7B 3.6B 3.6B (instruction) 10B 10B (sft) gpt-neox-japanese (Stockmark) 1.4B 1B=>3B=>7B=>10Bと ステップアップできる
47. © 2023, Amazon Web Services, Inc. or its affiliates. 大規模言語モデルを動かすための AWS インスタンス 47 1B 3B 7B g5.2xlarge : A10G x 1 24GB ($1/h) p3.2xlarge : V100 x 1 16GB ($3/h) 20B g5.12xlarge : A10G x 4 96GB ($6/h) p3.8xlarge : V100 x 4 64GB ($12/h) p4de.24xlarge : A100 etc g系のインスタンスがおすすめ
48. © 2023, Amazon Web Services, Inc. or its affiliates. 48 ML : モデルを選択し Fine Tuning するステップ 指示 / 回答のペア 入力テンプレートに 基づき結合・整形 モデルの学習へ Instruction tuning 追加学習用 コーパス モデルの学習へ Continuous pretraining
49. © 2023, Amazon Web Services, Inc. or its affiliates. モデルの評価が上がる = 顧客体験が良くなる、の等式を維持する。 • 顧客体験が下がるエラーの定義 • スペルミス、冗長な回答、誤りなど • エラーに対する改善の確認 • Finetuning 前の挙動と、実施後の挙動を比較する。 • 人間が比較する、正答との距離の計測 (ROUGE/BLEU等) で評価。 49 モデルの評価 評価結果に応じて、データの収集、モデルの選択を再検討する
50. © 2023, Amazon Web Services, Inc. or its affiliates. 50 ML : モデルを選択し Fine Tuning する 顧客体験とコストのバランスを最適化するよう、 学習データ量とモデルを段階的にチューニングする。
51. © 2023, Amazon Web Services, Inc. or its affiliates. 51 1. なぜ Fine Tuning をするのか 2. Fine Tuning でモデルの価値を高めるステップ 3. AWS で Fine Tuning するメリットと方法 Agenda
52. © 2023, Amazon Web Services, Inc. or its affiliates. 52 AWS で Fine Tuning するメリット = Amazon でお買い物をするメリット 1. 品ぞろえが豊富 2. コスト効率が良い
53. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon Bedrock 厳選された基盤モデルから最適な基盤モデルを選択できる Amazon が提供 最先端スタートアップ企業が提供 Titan Text Titan Embeddings Claude Jurassic-2 Stable Diffusion 53 Command/ Embed
54. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart オープンソースや企業独自のモデルを幅広に選択できる Models Stable Diffusion XL 2.1 base Upscaling Inpainting Tasks Generate photo-realistic images from text input Improve quality of generated images Features Fine-tuning on Stable Diffusion 2.1 base model Models AlexaTM 20B Tasks Machine translation Question answering Summarization Annotation Data generation Models Falcon-7B, 40B Open LlaMA RedPajama MPT-7B, Dolly BloomZ 176B Flan T-5 models (8 variants) DistilGPT2 GPT NeoXT Bloom models (3 variants) Tasks Machine translation Question answering Summarization Annotation Data generation Features Fine-tuning on FLAN T5 models, GPT-6B, Falcon-7B Models Cohere Command XL Tasks Text generation Information extraction Question answering Summarization Models Jurassic-2 Ultra, Mid Contextual answers Summarize Paraphrase Grammatical error correction Tasks Text generation Long-form generation Summarization Paraphrasing Chat Information extraction Question answering Classification Models Lyra-Fr 10B, Mini Tasks Text generation Keyword extraction Information extraction Question answering Summarization Sentiment analysis Classification Models Llama 2 7B, 13B, 70B Tasks Question answering Chat Summarization Paraphrasing Sentiment analysis Text generation
55. © 2023, Amazon Web Services, Inc. or its affiliates. さらにコスト効率良く生成系 AI を利用するための ハードウェアを開発 AWS Trainium AWS Inferentia 2 大規模言語モデルや拡散モデルの 学習に特化したインスタンス 大規模言語モデルや拡散モデルの 推論に特化したインスタンス 同等の Amazon EC2 インスタンス と比較して最大 75% の学習コスト 削減 同等の Amazon EC2 インスタンス と比較して最大 40% の推論コスト 効率の改善を実現 55
56. © 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 56 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ
57. © 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を使う方法 57 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ Dev 向き ML 向き
58. © 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 58 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ
59. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart で Fine Tuning する方法 59 学習データセットを Amazon S3 に置いて 「Train」するだけ！ ※ Fine Tuning に対応しているモデルとし ていないモデルがあります。
60. © 2023, Amazon Web Services, Inc. or its affiliates. Amazon SageMaker JumpStart で Fine Tuning する方法 60 Hugging Face Hub から Train / Deploy を押すと SageMaker で実行 するためのコードを参照できる。
61. © 2023, Amazon Web Services, Inc. or its affiliates. AWS で生成系 AI を Fine Tuning する方法 61 Amazon Bedrock Amazon SageMaker JumpStart Amazon SageMaker サーバーレス形式で AWS が 厳選した基盤モデルの推論と 転移学習が可能。 画面操作のみで基盤モデルの ホスティングや追加学習が行 える。 4+ 400+ Many SageMaker の Notebook な どで Hugging Face などから 直接モデルをダウンロードし てきて使用。 利用可能な モデル数 Super Easy Easy Normal 利用 しやすさ
62. © 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp 62 Amazon SageMaker で 基盤モデルを学習するための様々 な Notebook を公開中
63. © 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp • text-to-image 63
64. © 2023, Amazon Web Services, Inc. or its affiliates. aws-ml-jp • text-to-text 64
65. © 2023, Amazon Web Services, Inc. or its affiliates. Weights & Biases との統合 wandb のパラメーターを設定することで、Weights & Biases で学習 状況をモニタリングすることができる。 65 Notebook: Rinna_Neox_LoRA_ja.ipynb を参考。
66. © 2023, Amazon Web Services, Inc. or its affiliates. 実験 : 日本語大規模言語モデル OpenCALM を Fine Tuning 66 詳細 : 日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する
67. © 2023, Amazon Web Services, Inc. or its affiliates. 67 想定するビジネスシナリオ Biz Dev ML 問合せの多さに悩む 顧客サポート窓口に、 よりコスト効率良く 正確な返答を提供。 すぐに使える API で どれだけ正確に回答 ができるか確認。 Dev で使用したAPI と同等の結果を、より 少ないパラメーターの モデルでコスト効率よ く実現できるか確認。 日本語クイズの JAQKET データセット を使用して検証。 ChatGPT で回答精度 を検証。 OpenCALM を Fine- Tuningした場合の精度 とコストを計測。
68. © 2023, Amazon Web Services, Inc. or its affiliates. 68 JAQKET データセットの内容 Q: 大腸の運動や分泌機能の異常で起こる「過敏腸性症候群」のことをアルファ ベット 3 文字の略称で何という？ A: IBS Q: 「Ｔｒｐ」という略号で表される、チーズや牛乳などに多く含まれ、睡眠を 促す効果があるとされる必須アミノ酸の一種は何？ A: トリプトファン Q: オーストラリアの公用語は英語ですが、オーストリアの公用語は何語？ A: ドイツ語 ※回答は必ず Wikipedia の記事名になるように整えられている
69. © 2023, Amazon Web Services, Inc. or its affiliates. 69 検証の方法 JAQKET データセット の質問回答ペア 入力テンプレートに 基づき結合・整形 モデルの学習へ (LoRA で学習) Fine Tuning しない モデル / ChatGPT へ入力
70. © 2023, Amazon Web Services, Inc. or its affiliates. 70 検証結果 OpenCALM 7B のモデルを Fine Tuning することで、 ChatGPT 3.5 に比べ 1.1 倍の精度、1000 件でも 0.94 倍とほぼ同等の精度。
71. © 2023, Amazon Web Services, Inc. or its affiliates. 71 検証結果 1000 件の推論を行うとき、インスタンスとフレームワークを最適 化することで 20~30 倍コスト効率良く推論できる。 ※インスタンスを起動し続ける場合、推論回数が低いと インスタンスの固定費が高くつく点には注意。
72. © 2023, Amazon Web Services, Inc. or its affiliates. 72 カスタマーサポートの回答負荷を LLM でどれだけ軽減できたかを、 Expected Net Cost Savings (ENCS) = 期待節約効果で評価。 類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study ※年効果は月 10 万件の対応で計算。 ChatGPT でなく GPT-3 のため単価が高めな点に注意 回答の採用率は Prompt Engineering した GPT-3 が最も高いが、 期待節約効果は Fine Tune + 蒸留し たモデルが最も高い
73. © 2023, Amazon Web Services, Inc. or its affiliates. 73 Expected Net Cost Savings (ENCS) の計算例 類似の検証を行った研究 (ACL2023 Industry Track) The economic trade-offs of large language models: A case study 提案を使った場合 の返答時間 オペレーターの単価 +通常の返答時間 削減時間 * 単価 採用/ 編集 / 無視 されるケース ケースの発生確率 提案コスト ENCS
74. © 2023, Amazon Web Services, Inc. or its affiliates. 74 今後の検証 • OpenCALM 以外のモデルでの検証 • 新規にリリースされた ChatGPT 3.5 の Fine Tuning 機能の検証 • JAQKET 以外のデータセットでの検証 Weights & Biases と協力し、誰でも簡単にパラメーターを変えて ベンチマークを計測できるような仕組みを開発中
75. © 2023, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. おわりに 75
76. © 2023, Amazon Web Services, Inc. or its affiliates. 76 Prompt Engineering と Fine Tuning • Prompt Engineering による迅速な検証で終わらず Fine Tuning に よる継続的な学習に進むことで機械学習の成長サイクルを実現する。 Biz Dev ML の 3 ステップ • 成長サイクルの 3 つの要件を押さえたビジネスモデルを設計する • Prompt Engineering による迅速なビジネス検証を行う • Fine Tuning により継続的な成長サイクルを回す JAQKET/OpenCALM を使用した実験で Fine Tuning の効果を例示 まとめ
77. © 2023, Amazon Web Services, Inc. or its affiliates. 77 • これから生成系 AI のユースケースを検討する時 • Biz のステップから始めてみる • すでに生成系 AI を利用している時 • 今後の使用頻度や成長の度合いを考えたときに、ML のフェーズ へ移るために準備しておくべきことを検討する。 • ENCS を計算し、精度とコストのトレードオフを見積もる。 Next Step
78. © 2023, Amazon Web Services, Inc. or its affiliates. 最初の Biz フェーズの支援 : ML Enablement Workshop 生成系 AI の お試し 生成系 AI に よるプロダクト 差別化 機械学習 / 生成系 AI によるプロダクトの成長を図るお客様に無償で提供する、 実現可能な計画をアウトプットできるワークショップ。 参考 : プロダクトの成長をリードする生成系 AI の活用戦略 理解編 他社事例を参考に、ビジネス モデルキャンバスを作成 応用編 顧客体験の改善を確認する ための検証スコープの特定 開始編 1~3 カ月間の検証 (Dev)、 学習 (ML) の具体的な計画 78
79. © 2023, Amazon Web Services, Inc. or its affiliates. ML Enablement Workshop のコンテンツは すべて GitHub で公開中。 https://github.com/aws-samples/aws-ml-enablement-workshop AWS からの提供には条件がありますが、 開催者向けガイドを参照しお客様自身で実施 頂くこともできます 79
80. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services, AWS, the Powered by AWS logo, and all AWS service names used in this slide deck are trademarks of Amazon.com, Inc. or its affiliates.