AI前提のサービス運用ってなんだろう？

Transcript

1. 1 AI前提のサービス運⽤ってなんだろう？ 渡部 ⿓⼀
3. 3 • システム構成が年々複雑化してきていて学習/運⽤のコストは⾼くなる⼀⽅ • WebサーバがあってアプリケーションがあってDBがあるみたいなシステムの時は個⼈ の努⼒でキャッチアップして運⽤ができていたが今は現実的ではない ◦ マルチクラウド、コンテナ、RDB以外のDB、SRE • 何が⼤変なのかを俯瞰してみる余裕すらもないくらい⼤変(個⼈の感想) 課題
4. 4 • ベテランエンジニアを多く囲っておく ◦ 流動性が⾼い業界でこれはほぼ無理 • たくさんエンジニアを雇って育てる ◦ 複雑性が⾼くなる⼀⽅で時間がかかる • 今いる⼈で頑張る ◦ アンラーニングによる異動とかは世界的にみても起きてるし今後異動がないチームはあんま 存在しない • ⼈の⼊れ替わりが発⽣しても強いチームを作る(チームレジリエンス) どうすると良いか
5. 5 • ⼈の⼊れ替わりに弱いチーム ◦ オンボーディングの仕組みが整っていない ◦ 属⼈化しまくっていて他の⼈が何やってるのか不明 ◦ 暗黙知による運⽤が前提となっている ⼈の⼊れ替わりが発⽣しても強いチームを作る
6. 6 • ⼈の⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ▪ 最新のシステムの構成説明 ▪ 参画してすぐにプロダクションデプロイできる ◦ 属⼈化/暗黙知の排除 ▪ プロセスや⼿順の明⽂化、更新までセットで ▪ 定期的なナレッジシェアリング ▪ コードレビューやペアプログラミング • ドキュメントが⼤事！ ⼈の⼊れ替わりが発⽣しても強いチームを作る
7. 7 • ドキュメント施策は過去にもやってきた ◦ Docsに書く、Postmortemに書いて読む、playbookとかrunbookとか • 原因考察 ◦ 優先度の低さ -> ⼝頭の共有でもなんとかなるメンバー構成 ▪ チーム⽂化としてなんとかしていく ▪ ⼀回作ったはいいけどあんま使われない ◦ ツールやシステムの使いにくさ -> NotionにあったりGitHubにあったりで検索しにくい ▪ キーワード知ってないとダメ出し、分散してる前提で考えるから検索しようとも思わない ▪ O(1)で辿り着くための秘伝のブックマークがあったり ドキュメントはなぜ更新されないのか
8. 8 “いい感じに検索したい”
9. 9 • キーワード検索だけだと今ですら厳しい • ⽣成AIを組み合わせることでなんとかしたい • ChatGPTをそのままは使えないのでどうにかして情報を渡す必要がある ◦ プロンプトエンジニアリング、ファインチューニング ◦ RAG ▪ Retrieval Augmented Generationの略 ▪ ⾃社に蓄積された⼤量の⽂書を活⽤して、信頼できるデータを検索して情報を抽出し、それに基づい てLLMに回答させる⽅法のこと 検索性をどうにかしたい
11. 11 • 開発者向けに提供されているAIアプリケーション開発プラットフォーム • OSS版とクラウド版がある ◦ OSS: langgenius/dify ◦ クラウド: dify.ai Dify
12. 12 • RAGの精度は研究段階のものがまだまだ多そうな印象 ◦ 触ってみるとベクトル検索だけでもキーワード検索よりも便利な印象 ◦ GraphRAGとかも便利そう ▪ グラフ理論を応⽤した新しいRAG ▪ ドキュメントをグラフ構造でデータベースに保存して検索する ▪ unknown-unknownのドキュメントに到達できるようになる(かも？) ▪ 既知のエンティティや関係性から推測される新たなパターンや、新しい関係性の発⾒ • 精度を上げるためのテクニックもあるらしい ◦ RAGでの回答精度向上のためのテクニック集（RAGとは何か） ◦ RAGの精度と速度を同時に向上「DIVA」による曖昧さ対策 ▪ 即効性がありそうなのを⾒てくと⼈間向けにも良さそうな内容(構造化、メタデータ付与) RAGで検索性はよくなるのか？
13. 13 • MTTRの推移を取る • エスカレの数を計測する • (ドキュメントの更新数?) • (MTBFとかにも良い影響が出て欲しい感があるが果たして...) 施策の評価指標になりそうなもの
14. 14 • チーム⽂化としてタスクのToDoの最後にドキュメントを書く/更新するまで必須化 • RAGの精度の向上=チームの運⽤⼒(未定義)が上がることが確信できるならもはやそれ 専⽤のプロジェクトを⽴ち上げる • とはいえ更新し続けれるの？みたいなのは正直疑問ではある ◦ ファクトチェック率低いから使わないだけみたいになりそう ドキュメント運⽤の課題と解決策の提案
15. 15 • ⾃宅サーバで検証してみたが結構いい感じに使えそう • 事象に対してチャット形式でドキュメントを引っ張ってくれる&回答もくれるので思 考錯誤のためのヒントになる ◦ ただ知ってる情報ばっかでヒントが役⽴つケースってあんまないかも ◦ 障害対応中にChatGPTに聞くことってあんまないよなぁ • シニアなSREメンバー主体のチームで⼊れ替わりが少ないとかの状況なら正直いらな いんじゃないかなと思ったりした ◦ SREチームは最終的にはここを⽬指すべきというか本来ある形はこれなのでは？ ◦ そのための⼀歩⽬としての施策とも⾔える...?? 感想と疑問