Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Prompt flow による LLM ワークフロー開発 - ChatGPT Meetup T...

Shohei N.
January 31, 2024

Prompt flow による LLM ワークフロー開発 - ChatGPT Meetup Tokyo

ChatGPT Meetup Tokyo【AOAIドーナツ本出版記念】での発表に使用した資料です。
Prompt flowの基本と、CLI/SDKやVS Code拡張機能、作ったフローのデプロイについて解説しています。

発表イベント:https://chatgpt.connpass.com/event/307587/

Keywords:
prompt flow, LLM work flow, ChatGPT, Azure OpenAI Service, Azure Machine Learning, Azure AI Studio

Shohei N.

January 31, 2024
Tweet

More Decks by Shohei N.

Other Decks in Technology

Transcript

  1. 永田祥平 (Shohei Nagata)  Microsoft 所属  Cloud Solution Architect

    (Data & AI)  主に機械学習やデータ分析基盤の導入/活用支援を実施  もともとの専門は Genomics, Bioinformatics  趣味/マイブーム  日本酒/コーヒー/Starbucks  東京の美味しいご飯屋探し  アニメ、マンガ、読書  興味分野  ビッグデータ分析基盤  Explainable AI  Healthcare, Genomics 出身 横浜→広州 (中国)→東京→鶴岡 (山形県)→東京 ICU高校 → Keio SFC Personal Info @shohei_aio /shohei-nagata
  2. 生成 AI アプリ開発のためのプラットフォーム Azure Machine Learning Azure AI Studio OSS

    モデルカタログ 責任ある AI Azure AI Content Safety プロンプト構築/評 価ツール Prompt flow 大規模AI アプリデプロイ 生成 AI モデル モニタリング
  3. Announcing • さまざまな言語モデルとデータソースを使用する AI ワー クフローを作成 • 1つのプラットフォームで生成 AI ワークフローの

    構築、調整、評価を実行 • 事前構築済の指標で AI ワークフローの品質を評価 • プロンプトのチューニング、比較、トラッキング Azure Machine Learning Prompt Flow GA
  4. Prompt flow の CLI/SDK 2/2 CLIでの実行の例 フローのテスト実行 (ローカル上) pf flow

    test --flow ./flow_dir フローの実行 (バッチ入力) pf run create --flow standard/web-classification --data standard/web-classification/data.jsonl --name my_first_run --stream YAML構成ファイルベースでのフロー実行 pf run create --file batch_run.yaml --stream
  5. マネージドエンドポイントへのデプロイ (簡単) Azure Machine Learning / Azure AI Studio の

    Prompt flow からマネージド オンライン エンドポイントへそのままデプロイできる。APIエンドポイントが公開される
  6. Prompt flow のデプロイ機能 CLI/SDK/VS Code からそのまま Docker コンテナとしてデプロイできる Azure App

    Service (WebホスティングのPaaS) にもそのままデプロイ可能 Docker フォーマットでフローをビルド: 出力ファイル: コラム:
  7. まとめ  Prompt flowはLLMと外部ツールを組み合わせたプロンプトの構築、評価、デ プロイ、モニタリングに使えるツール  Azure AI Studio /

    Azure Machine Learning から使うのが使いやすいが、 CLI/SDK/VS Codeから利用もでき、CI/CD ~LLMOpsの実現に貢献  作ったフローはマネージドオンラインエンドポイントにデプロイしてもらうのが嬉しいが、 Docker コンテナ化してさまざまな環境へデプロイもできる