Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM勉強会のためにアプリを作ろうか悩んだけど Difyが解決してくれた話

QunaSys
July 10, 2024
4.7k

LLM勉強会のためにアプリを作ろうか悩んだけど Difyが解決してくれた話

QunaSys

July 10, 2024
Tweet

Transcript

  1. 勉強会のハンズオンでのツール選定要件 要件 目的 ChatGPTのAPIキーはこちらで用意 できる? 参加する会社によってはAPIキーが用意できない可能性がある APIキーのレートリミットの管理が できる? 多くの人が一気にAPIキーを使うので、Embbedingとかはrate limit

    errorでそう。チャットは問題にはならないかも? ユーザーがアノテーションでき る? ²± 本当に正しい答えをこちらでデータとして貯めたい ¥± データ評価まで実践してもらう機会を作りたい。 勉強会以外でも使ってもらえる? 参加者にユースケースを思いついてもらいたいので、常に使って もらえる環境を用意したい。 文献を集めることができる? みんなの知見を集めて、RAGに使えるようにしたい。 プロンプト集めることができる? 同上
  2. 案1. LangChain+LangServe+LangSmith+Google Colab ️ ︎ ・・・できる! ・・・できない。運用もしくは別サービスでカバー可能な場合 も含む 要件 満たす?

    APIキーはこちらで用意できる? レートリミットの管理ができる? (実行タイミングずらす とかなら... ユーザーがアノテーションできる? LangSmithをいい感じに 運用すればできるかも... 勉強会以外でも使ってもらえる? 文献を集めることができる? GoogleDriveに入れてと かなら...?... プロンプト集めることができる?
  3. Difyにもできないことある |~ While文のような反復処理や、前サイクルの出力の再利G ˜~ 具体的には、SelfRAGみたいなSelf-Reflective RAGなやつとかはできないなV g~ 利用可能なPythonライブラリが限定的であるu ˜~ 最近dify-sandboxがオープンになったのでやりようが出てきましたu

    Y~ 精度評価 • Difyプラットフォーム上での直接評価が不可@ ˜~ LangSmithやLangfuseが連携できるようになったのでそっちでやろうz (~ バージョン管理機能(個人的にこれが辛い ˜~ DSLインポートとエクスポートできるので手動でGitHub登録してtag管理とか? etc.... https://qiita.com/hudebakononaka/ items/4881657730d38a250ab8