LLMをアプリケーション内に組み込むソフトウェアが市場に出始めているが、その基盤はまだ盤石ではない。プロンプト・コンテキストエンジニアリングは未成熟で性能は些細なことで変動する。
プロンプトはBizサイドも手を入れてしまうことがありオーナーシップが揺れ、結局いま性能はどんなだっけ?と迷子になってしまう。
このソリューションはデータ・AIエンジニア主導でLLMの適切なログを取り、現状を計測可能にすることでBizとの架け橋を作りOpsを安定させることである。弊社の取り組み事例(一部計画中)を紹介する。