Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Prompt flowことはじめ - Prompt flow による LLM ワークフロー開発...

Shohei N.
February 18, 2024

Prompt flowことはじめ - Prompt flow による LLM ワークフロー開発&評価 - StudyCo

LLMアプリケーションのライフサイクルとそれをサポートするためのPrompt flowについて解説しています。

イベント:【AOAIドーナツ本出版記念】AzureでのChatGPT活用入門【基本から周辺サービスまで解説】
ページ:https://studyco.connpass.com/event/308268/
アーカイブ:https://youtu.be/RJYoqfaUo3Q

Keywords:
prompt flow, LLM workflow, ChatGPT, Azure OpenAI Service, Azure Machine Learning, Azure AI Studio

Shohei N.

February 18, 2024
Tweet

More Decks by Shohei N.

Other Decks in Technology

Transcript

  1. 永田祥平 (Shohei Nagata) Microsoft 所属 Cloud Solution Architect (Data &

    AI) 主に機械学習やデータ分析基盤の導入/活用支援を実施 もともとの専門は Genomics, Bioinformatics 趣味/マイブーム 日本酒/コーヒー/Starbucks 東京の美味しいご飯屋探し アニメ、マンガ、読書 興味分野 ビッグデータ分析基盤 Explainable AI Healthcare, Genomics @shohei_aio /shohei-nagata 2024/1/24 発売!
  2. LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理

    コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る
  3. Azure AI Studio = LLMOps プラットフォーム OpenAI、Meta、Hugging Face からの 数千の

    LLM へのアクセス RAG を使用したデータの基礎作成 プロンプト エンジニアリング/評価 安全性と責任ある AI を搭載 LLM の継続的な監視
  4. Azure AI prompt flow メリット • さまざまな言語モデル、API、データソースを接続して、データに基づいて LLM を利用する LLM

    ワークフローを作成 • LLMワークフローの設計、構築、調整、評価、テスト、展開を1つのプ ラットフォームで実現 • ビルトインされた評価指標を使用して、ワークフローの品質を評価 • 簡単なプロンプトのチューニング、プロンプトバリエーションの比較、およ びバージョン管理 Documentation: https://aka.ms/prompt_flow 生成 AI アプリ開発サイクルを簡素化
  5. 9 デモ構成:小売店の製品検索チャット Chat History Customer info LLM App 顧客の意図と 製品を見つける

    質問生成 Connections 製品情報 検索 Proposed Chat Reply LLM: ChatGPT LLM: ChatGPT AI Search コンテキストに基づく 返信を提供 テキスト生成 chat history customer info product_id Product ID Intent product_info
  6. プロンプトフローでの構成 回答 Azure OpenAI Service 質問のベクトル化 チャット フローの流れ Azure AI

    Search 製品ドキュメントのベ クトル検索 Azure Cosmos DB 顧客データベースの検索 Azure OpenAI Service GPT-3.5 Turbo への プロンプト入力&回答生成 質問
  7. RAGの評価指標 (回答生成部分) モデルが生成した答 えが、入力ソースか らの情報とどの程度 一致しているかを測 定 根拠 Groundedness モデルが生成した回答

    が、どの程度適切で、 与えられた質問に直接 関連しているかを測定 関連性 Relevance 言語モデルが自然に読 める出力をどの程度生 成できるかを評価 一貫性 Coherence
  8. Prompt flow CLI/SDK/VS Code による開発 コードリポジトリでのフローバージョン管理 フォルダ構造で編成されたファイルベースのフロー クラウドとローカル間のスムーズな移行 フローをローカルにダウンロード、クラウドへインポート 開発、テスト、デバッグ、ローカルでのデプロイ

    ローカルからクラウドへの送信実行 実行/評価をクラウドで管理 CI/CD パイプラインとの統合 SDK/CLIによるフローとメトリクスの開始、実行、評価、可視化 VS Code 拡張機能を使用したローカル開発 フローエディタ ローカル接続管理 実行履歴 実験管理と生産性に関するコラボレーション リポジトリからクラウドへのフ ロー実行の送信 クラウドリソースの 消費(コンピューティ ング、データ、スト レージなど) UIでの開発をバージョン管理 用のコードベースに移行 ローカルでの開発
  9. LLM ライフサイクル 管理 仮 説 ビジネス ニーズ ク ォ ータとコスト管理

    コン テ ン ツ フィルタリング モ ニ タリング 運用化 構築/ 強化 アイデア/ 探索 LLM を探す プロンプトを 試 す フィードバックを提供する アプリ展開を準備する プ ロ ジェクトを推進する プ ロジェクトを元に戻す プ ロンプト エンジニアリン グ / フ ァインチューニング RAG 評価 例 外 処 理 安全なロ ー ル ア ウ ト /ス テージング LLM アプリ/UI を展開す る
  10. Prompt flow の CLI/SDKコマンド CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow test

    --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream
  11. まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio /

    Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もできる  コードベースでの開発を行うことで、GitHub Actionsとの連携など、CI/CD含め た LLMOps の実現に貢献