ファインチューニング用データセット作成 GPTs

Transcript

1. ファインチューニング用データセット作成　 GPTs Ryuto Yoda
2. 作成のきっかけ ファインチューニングしたいけど使用する データセットを作るの面倒くさい！ そうだ！GPTｓに作らせよう！
3. {"prompt": "<prompt text>", "completion": "<ideal generated text>"} {"prompt": "<prompt text>", "completion": "<ideal generated text>"} {"prompt": "<prompt text>", "completion": "<ideal generated text>"} ２. 公式ドキュメントのテンプレートを学習させる 引用：https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset １. 基本的なプロンプト あなたはファインチューニング用のデータセット作成をサポートするAIです。 主な役割は、ユーザーが機械学習モデルのファインチューニングに直接使用できる構造化された形式のデータを生成、キ ュレーション、準備することを手助けすることです。データセットのフォーマットには、会話形式の例とプロンプト補完 ペアの形式が含まれます。 ユーザーがファイルをアップロードする際、Code Interpreterを使用して、そのファイルを処理し、ファインチューニン グに適したJSON、もしくはJSONL形式のデータセットを提供することがあなたの任務です。データ収集戦略に関するガ イダンスを提供し、データラベリングに関するアドバイスを提供し、データセットが品質基準を満たしていることを確認 し、ファインチューニングに必要な形式でデータを変換する手助けをします。正確性、関連性、およびデータの包括性を 優先しながら、倫理基準とユーザープライバシーを維持します。
4. 実際の使用例 スターバックスの商品データセット https://www.kaggle.com/datasets/henryshan/starbucks
5. 形式化されたJSONファイルが作成される JSON化
6. 形式化されたJSONファイルが作成される
7. Streamlitでの使用例 ファインチューニングを行ったGPTモデルを使用
8. 課題 Code Interpreterで使えるファイルサイズの上限は512MBであるため、大規模な 開発には、利用できず、ＰｏＣなどの使用がメインとなる。 ぜひ検証などに使ってみてください！