Go × 軽量ワークフロー言語で実装する LLM ワークフロー

Transcript

1. Go × 軽量ワークフロー言語で実 装する LLM ワークフロー Sales Retriever - 営業向けSaaSプロダクト 2025/2/17
2. 自己紹介 • 濱田 (@yohamta) • Go言語 が好きなバックエンド開発者 • 個人開発とスタートアップのプロダクト 開発に携わる 略歴 • SIer, ゲーム業界, 楽天, 証券会社, スタートアップ → ? 模索中
3. 本日のトピック 複雑な LLM ワークフローを軽量なワークフロー言語を用いて実装する話
4. プロダクトの概要
6. どんな営業でもトップ営業と同じように 企業のリサーチを行えるようにするプロダクト
7. メイン機能 • テーブル形式の UI / UX • 調べたいことを列として設定できる • テーブルに行として企業を追加する → 自動でリサーチ
8. LLM を用いた自動 リサーチのワークフロー
9. LLMを用いたリサーチのワークフロー 調査項目を入力として、以下５つのステップで自動リサーチを行い、 その結果をテーブルのセルに保存する 1. 検索ワードの拡張 2. Web 検索処理 3. Web ページのコンテンツ取得 4. コンテンツの判定、重要箇所の抜粋 5. 要約 ※説明のため簡略化しています
10. リサーチのワークフロー実 装における課題
11. 実装における課題 1. リサーチ間の依存関係を設定したい 2. 効率的に並列処理を行いたい
12. 具体例 • 多段階でのリサーチを行いたい（以下、例）
13. 具体例 • 多段階でのリサーチを行いたい（以下、例）
14. 具体例 • 多段階でのリサーチを行いたい（以下、例）
15. 実装における課題（２／２） • 大量の Web 検索, LLM の実行処理を行うため並列化が必須 大まかなワークフローのタスク数: 　　総タスク数 = リサーチ対象セル数 × 各セルに対する検索ワード拡張数 × Web 検索結果数 　 例: 10 列 × 4 キーワード × 検索結果 10 件 ＝400 タスク → どう実装するか？
16. 簡易的なワークフロー 言語を実装
17. ワークフロー言語とは • ワークフロー言語は一連のタスクの流れを記述するプログラミ ング言語の一種 • 今回のようなリサーチ処理のタスクの流れをワークフロー言語 を用いて記述できる
18. LLMプロダクトにワークフロー言語を用いる恩恵 • 再実行 • 進捗、エラー箇所の監視 • 分散・並行処理 • 柔軟性 ◦ 動的にワークフローの組み換えができる • 拡張性 ◦ 新しいタスク種別を追加しても, 基盤のコードを そのまま利用できる
19. 具体例 タスクの依存関係をワークフロー言語で定義する例（YAML） タスク間の依存関係 ワークフロー言語表現
20. Goで実装する恩恵 • シングルバイナリ • 並行処理（goroutine + channel） • 静的型付け • 速度 • 可読性 • 標準ライブラリ • 後方互換性 コード品質と生産性を両立しやすい言語
21. ワークフロー層の実装 • ワークフロービルダー、実行レイヤを内部に包含 アプリケーション内部のモジュール構造
22. バックエンド全体で Go を採用 Workflow Executor Backend API Backend DB Workflow Job LLM API (Open AI etc) Company Data source Client
23. パフォーマンスの 比較（ざっくり）
24. β版と製品版の比較 • β 版は Python で実装 • 製品版は Go で実装し、ワークフロー機構を内蔵 • 1回のリサーチ時間は 2~3 分 → 40秒程度になり、 ざっくり 70% ほど高速化
25. まとめ • LLM に関する一連のタスクをワークフロー言語で記述することで様々な恩恵 が得られる • Go 言語を用いてワークフローを実装することでアーキテクチャをシンプルに できる
26. 宣伝
27. 宣伝（1/2） • Sales Retriever 社の開発初期メンバー募集中
28. 宣伝（2/2） • Dagu という OSS のワークフローエンジンを開発しています 🚀 dagu-org/dagu 🚀
29. 宣伝（2/2） • Dagu のユースケース ◦ 衛星観測データの取り込みパイプライン ◦ IoT のエッジデバイス上でのデータ処理 ◦ メディアファイルの変換パイプライン ◦ 従業員の入退社に関するワークフロー自動化
30. 宣伝（2/2） • スター1万を目指してOSSを開発しませんか？
31. 以上 ありがとうございました