社内データ分析AIエージェントを できるだけ使いやすくする工夫

コミューン株式会社ではコミュニティ支援を行う上で必要なデータ分析業務を手伝ってくれるデータ分析エージェント「community sage」が存在します。
このエージェントを社内に浸透させるために行ってきた工夫についてお話します。

at https://finatext.connpass.com/event/376549/

Transcript

1. 社内データ分析AIエージェントを できるだけ使いやすくする⼯夫 コミューン株式会社 深澤 祐援(Yusuke Fukasawa) 2025-01-21
2. © Commune Inc. All rights reserved ⾃⼰紹介 2 深澤祐援 (Yusuke Fukasawa) @fukkaa1225 機械学習エンジニア 趣味: テニス‧ポケモン対戦(シングル) のゲーム理論的解析 年末年始は⾃然⾔語処理学会(2026)の ために論⽂を書いてました
3. © Commune Inc. All rights reserved 3 最近(2025-09)資⾦調達しました
4. © Commune Inc. All rights reserved 4
5. © Commune Inc. All rights reserved 5
6. プロダクト紹介 コミューンは、単なる場作りを越えて活性化し、 事業成果が出るコミュニティサクセスプラットフォーム © Commune Inc. All rights reserved ロイヤルユーザー育成のためのUXを⼀気通貫で提供 プロジェクトを成功に導く運⽤サポート体制 ⽀援と実績で培ったノウハウ提供 コミューンの3つのポイント 1.プロダクト 2.運⽤サポート 3.ノウハウ提供 6
7. © Commune Inc. All rights reserved 7 アジェンダ • コミューンにおけるデータ分析の課題 • データ分析エージェント Community Sage • 社内に浸透させるための⼯夫
8. © Commune Inc. All rights reserved コミューンにおけるデータ分析の課題 8
9. © Commune Inc. All rights reserved 9 コミューンにおけるデータ分析の課題1 • 数百以上のコミュニティが存在 • コミューンからコミュニティマネージャーがついてるコミュニティが数多く 存在する • 担当者によっては数⼗以上のコミュニティ運営に関わっていることがある コミュニティA コミュニティB コミュニティC コミュニティD コミュニティE コミュニティF
10. © Commune Inc. All rights reserved 10 コミューンにおけるデータ分析の課題2 • 忙しい担当者が全てのコミュニティの数字を詳細に集計‧分析する時間が なかなかない • そもそも SQL を書いたりするスキルが全員に備わっているわけではない • データ集計‧分析が運営上必須だが、それを⾏うための時間や能⼒がない 悪循環にあった コミュニティAの報告のために MAU‧DAU を調べて傾向を まとめつつ、コミュニティ B の 施策提案のために最近の投稿を 全部チェックして...
11. © Commune Inc. All rights reserved データ分析エージェント Community Sage 11
12. © Commune Inc. All rights reserved 12 Google-ADK を⽤いて実装 • google-adk でエージェントを定義して、 Google Cloud Agent Engine にデプロイする ⽅式に変更 • サービスアカウント設定で権限を絞る エージェント定義 # Agent definition root_agent = Agent( model=MODEL_NAME, name=AGENT_NAME, instruction=build_root_instruction, tools=[ bq_toolset, ], ) app = build_adk_app() # Check if the agent is already deployed deployed_agent_resource = find_deployed_agent_resource() if deployed_agent_resource: LOGGER.info(f"Agent already deployed: {deployed_agent_resource}") LOGGER.info("Update the agent.") # Update the existing agent agent_engines.update( resource_name=deployed_agent_resource, agent_engine=app, display_name=DISPLAY_NAME, extra_packages=extra_packages, service_account=SERVICE_ACCOUNT, requirements=requirements, env_vars={"CUSTOM_AUDIENCE": CUSTOM_AUDIENCE}, ) LOGGER.info("Agent updated successfully.") else: LOGGER.info("Deploying a new agent.") (省略) デプロイ
13. © Commune Inc. All rights reserved 13 google-adk → BigQuery https://cloud.google.com/blog/ja/products/ai-machine-learning/bigquery-meets-google-adk-and-mcp
14. © Commune Inc. All rights reserved 14 Community Sage の全体像 BigQuery Toolset Read-only access Community Sage Root Agent Community Name Resolver Agent Find Similar Community Agent Graph Plotter Agent
15. © Commune Inc. All rights reserved 社内に浸透させるための⼯夫 15
16. © Commune Inc. All rights reserved 16 社内に浸透させるための⼯夫 1. ⽤途に合わせたインタフェースの設計‧展開 2. 地道なエージェントの出⼒調整 3. 社内広報を頑張る
17. © Commune Inc. All rights reserved 17 ⼯夫1: Slack と WebUI の両⽅を⽤意して提供 Slack だけだと⾮常に⻑い SQL などの出⼒を求めら れた際にブロック内の⽂字数制限に引っかかり出⼒ できないケースがあった 簡単な分析は Slack, 深い分析は Web という棲み分けもできた Slack Web(next.js)
18. © Commune Inc. All rights reserved 18 ⼯夫1: Slack‧WebUI それぞれのアーキテクチャ VertexAI Agent Engine Slack Bolt
19. © Commune Inc. All rights reserved 19 ⼯夫2: 地道なエージェントの出⼒調整 ユーザの質問‧応答内容をつぶさに観察してエージェントを調整し続けた
20. © Commune Inc. All rights reserved 20 ⼯夫2: 地道なエージェントの出⼒調整 ユーザの質問‧応答内容をつぶさに観察してエージェントを調整し続けた ダッシュ ボードと 数値が 違う！
21. © Commune Inc. All rights reserved 21 ⼯夫2: 地道なエージェントの出⼒調整 ユーザの質問‧応答内容をつぶさに観察してエージェントを調整し続けた ダッシュ ボードと 数値が 違う！ ダッシュボードと同じ データソース、定義を 使うように
22. © Commune Inc. All rights reserved 22 ⼯夫2: 地道なエージェントの出⼒調整 ユーザの質問‧応答内容をつぶさに観察してエージェントを調整し続けた SQLが 分からな いので、 正しさの 検証が むずい！
23. © Commune Inc. All rights reserved 23 ⼯夫2: 地道なエージェントの出⼒調整 ユーザの質問‧応答内容をつぶさに観察してエージェントを調整し続けた SQLが 分からな いので、 正しさの 検証が むずい！ エージェントの出⼒で どんなクエリを投げた かを説明させるように
24. © Commune Inc. All rights reserved 24 エージェントにSQLの内容を説明させている様⼦ 集計条件と期間を整理して 伝えるように調整
25. © Commune Inc. All rights reserved 25 エージェントにSQLの内容を説明させている様⼦ 曖昧な問いかけの時には いきなり SQL を実⾏するのではなく、 条件をはっきりさせる質問を返す
26. © Commune Inc. All rights reserved 26 エージェントにSQLの内容を説明させるためのプロンプト few-shot example をちゃんと提⽰する 否定ではなくすべき ⾏動を書く 「曖昧なときにSQL を書くな」ではなく 更に質問して情報を 引き出させる
27. © Commune Inc. All rights reserved 27 ⼯夫3: 社内広報活動を頑張る 改善‧機能追加などがあれば、全社員が⾒ているチャンネルで宣伝する 詳しい解説を書いた社内 ブログへ誘導
28. © Commune Inc. All rights reserved 28 ⼯夫3: 社内広報活動を頑張る 改善‧機能追加などがあれば、全社員が⾒ているチャンネルで宣伝する
29. © Commune Inc. All rights reserved まとめ 29
30. © Commune Inc. All rights reserved まとめ 30 • データ分析エージェント「Community Sage」を社内展開しています • 社内に展開していくうえでの⼯夫を紹介しました ◦ ⽤途に合わせたインタフェース ◦ 地道な出⼒調整 ◦ 社内広報
31. © Commune Inc. All rights reserved 31 採⽤やっております！ https://open.talentio.com/r/1/c/commune/pages/117174
32. © Commune Inc. All rights reserved