per message - responding one by one - 同じような質問 - 過去に似た特例対応したけど記憶が。。。 - この情報はどこに - あぁ、どんどん数が増える 例え あなたが「経理」 人間だったとして - Same questions on repeat - Exceptional cases - forgot what to do - Where is this information? - The inquiries are never ending…
- 早く解決したいのに - この問い合わせいつ返事くるんだろう 例え あなたが「経理」 人間だったとして - I need to concentrate on my other work. - I need a quick resolution to this matter. - I wonder when I’ll receive a reply to this inquiry. 返答を待ち続ける従業員は... Employees waiting for their response all day…
１年間での問い合わせ担当者の回答時間 Annual Inquiry Response Time Per Staff Member 70 Channels 導入数 Deployment Count 対応工数 約 6 割減!! Apprx -60% in workload! 1876.6h Reduction Response Time Original required time Actual response time
worked on developing the internal performance evaluation system. Since 2024, I have been serving as a team lead for internal AI/LLM products. Since July of this year, I have been working within the AI Task Force as an Enabler, supporting the application of AI at CorpIT division. Software Engineer, AI/LLM Solution team
ル検索のRAGを⽤いて関連知 識を検索し、回答を⽣成する チャットボットです。 A chatbot that ingests knowledge distributed across the company and uses a vector search RAG (Retrieval-Augmented Generation) system to retrieve relevant knowledge. It then generates appropriate answers from this information.
created and improved, daily updates are still crucial because improvements will not be reflected in the chatbot otherwise. AIによるお問い合わせ対応 AI-Based Inquiry Response 担当 方による資料 更新 Document Updates ベクトル検索用データ 自動更新サイクル Automatic Refresh Cycle for Vector Search Data 回答の精度が悪い⼀番の理由 回答するために必要な社内 知識が資料化されてない事 Main cause for poor accuracy on responses Missing documentation for the internal knowledge required to generate the answers. 01 🤖 🙋 Daily update for vector search - ベクトル検索用 データ毎日自動で最新化 ベクトルDB 最新化 Updates to the Vector DB 回答が期待 ずれ Answer failed to meet expectations
標が変える必要があるので、 機能ごとに柔軟に評価データ セットを作れる必要がある。 Challenges in evaluation using a dataset Evaluation dataset generation must be flexible because the evaluation metrics must be changed for each function being a assessed. 02
to evaluation by consolidating data into LangSmith, which in turn allowed us to create evaluation datasets on demand from Trace data. Evaluation using Dataset - 回答・検索精度 データセットを使った評価 02
Optimization 1. Create chunks based on each header element. 2. Add supplementary data, such as the page title, to each chunk. 3. Create chunks based on each row for table elements. 03 初期段階から社内 知識データに合わせて最適化できたこと 、大きな成功要因だったと思い ます。A significant factor to our success was the fact that we were able to optimize based on existing internal knowledge data from the beginning. • Hybrid Search • 要約の⽣成‧⽬次要素‧不要な改⾏‧ス ペースを削除 • 検索結果の重み付け （より新しい知識が結果に含まれやすい） • 将来的なマルチベクトル埋め込み 検索への最適化 Optimization for Search • Hybrid Search • Generation of summaries; removal of table of contents elements, unnecessary line breaks, and spaces. • Weighting of search results (to favor the inclusion of newer knowledge in the results). • Future implementation of multi-vector embedding. Document Optimization- 社内ドキュメントへ 徹底的な最適化
Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally. 定期的最新化 Automatic daily updating 01 精度 評価 Accuracy Evaluation 02 ドキュメント 最適化 Document Optimization 03
will be augmented with diverse information, including user attributes and specific situations, in addition to internal corporate knowledge. Challenges & Roadmap - どこら辺が難しい？ロードマップと照らして ユーザの権限に 合わせたデータ活⽤ ⼀部でPrivate channelで出来 ている。OAuthログインして権 限を獲得するなどのセキュリ ティも担保した資料参照。 Data Utilization Tailored to User Permissions This is already being achieved in certain Private Channels. We also ensure security when referencing documents by utilizing OAuth login to acquire the necessary permissions. よりスムーズな ドキュメントの改善 ⽂書化されてない社内知識 を、より簡単に⽂書化できる 仕組みの構築 Smoother Document Improvement Establishing a mechanism to more easily document as-yet undocumented internal corporate knowledge.
Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally. 定期的最新化 Automatic daily updating 01 精度 評価 Accuracy Evaluation 02 ドキュメント 最適化 Document Optimization 03
mercari
ysd113
whisaiyo
amarelo_n24
nikkei_engineer_recruiting
nobutomurata
yuyatakeyama
shiba_8ro
seike460
masahirokawahara
sonic
gotok365
8maki
trallard
holman
cassininazir
tenderlove
inesmontani
jcasabona
swwweet
tammyeverts
tamaranovitovic
carmenintech
reverentgeek
iamctodd
