Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI前提のサービス運用ってなんだろう?
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
ryuichi1208
November 18, 2024
Technology
9
2k
AI前提のサービス運用ってなんだろう?
ryuichi1208
November 18, 2024
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
会話で作る信頼性
ryuichi1208
0
140
シグナル(Unix)と仲良くなる
ryuichi1208
1
24
AI前提のサービス運用について再考する
ryuichi1208
6
1.4k
A Shallow Dive into the World of TCP
ryuichi1208
1
640
入門リトライ
ryuichi1208
20
8k
超入門SRE 2025
ryuichi1208
4
1.5k
Goで作って学ぶWebSocket
ryuichi1208
5
4k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
15k
入門 バックアップ
ryuichi1208
22
11k
Other Decks in Technology
See All in Technology
進化するBits AI SREと私と組織
nulabinc
PRO
0
200
"作る"から"使われる"へ:Backstage 活用の現在地
sbtechnight
0
150
楽しく学ぼう!ネットワーク入門
shotashiratori
1
400
モブプログラミング再入門 ー 基本から見直す、AI時代のチーム開発の選択肢 ー / A Re-introduction of Mob Programming
takaking22
5
1.6k
【Oracle Cloud ウェビナー】【入門編】はじめてのOracle AI Data Platform - AIのためのデータ準備&自社用AIエージェントをワンストップで実現
oracle4engineer
PRO
1
150
NewSQL_ ストレージ分離と分散合意を用いたスケーラブルアーキテクチャ
hacomono
PRO
4
350
AI時代のSaaSとETL
shoe116
1
170
Tebiki Engineering Team Deck
tebiki
0
27k
VPCエンドポイント意外とお金かかるなぁ。せや、共有したろ!
tommy0124
1
630
Abuse report だけじゃない。AWS から緊急連絡が来る状況とは?昨今の攻撃や被害の事例の紹介と備えておきたい考え方について
kazzpapa3
1
790
[JAWSDAYS2026]Who is responsible for IAM
mizukibbb
0
730
CyberAgentの生成AI戦略 〜変わるものと変わらないもの〜
katayan
0
230
Featured
See All Featured
Code Review Best Practice
trishagee
74
20k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
49
9.9k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
1
220
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4k
A Modern Web Designer's Workflow
chriscoyier
698
190k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.6k
Impact Scores and Hybrid Strategies: The future of link building
tamaranovitovic
0
230
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
Leo the Paperboy
mayatellez
4
1.5k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.1k
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
190
Neural Spatial Audio Processing for Sound Field Analysis and Control
skoyamalab
0
220
Transcript
AI前提のサービス運⽤ってなんだろう? 渡部⿓⼀ JAWS-UG SRE⽀部 #10 SREでもAI活⽤がしたい!
⾃⼰紹介 • 株式会社IVRy SWE ◦ 2024/11/1 ⼊社 • 渡部⿓⼀ •
仙台在住 • EOL対応‧障害対応
サービスの運⽤⼤変じゃないですか?
課題 • システムは複雑化していき運⽤コストは増えていきがち • WebサーバとDBだけがあるというようなシンプルな構成と同様の運⽤をしていく のは難しい ◦ 技術要素、クラウド、プラットフォームエンジニアリング、SRE • 何が⼤変なのかわからないくらい⼤変になったり
どうするとよいのかの考察 • ベテランエンジニアを囲って置く ◦ IT業界は特に流動性が⾼いと⾔われている中で現実的ではない • たくさんエンジニアを採⽤して育てる ◦ プロダクトの成⻑速度に対して間に合う場合を除いて現実的ではない •
今いる⼈が全⼒で頑張る ◦ 複雑なシステムを完全に理解する努⼒をしてそのメンバーだけで運⽤ ◦ 組織改編、異動⼀つで変わる
どうするとよいのかの考察 • チームメンバーに依存した運⽤のやり⽅でどうにかするのは難しそう • チームの⼊れ替わりを前提とした運⽤が必要となる ◦ チームレジリエンス
⼈の⼊れ替わりが発⽣しても強いチームを作る • ⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ◦ 属⼈化、暗黙知が少ない ◦ オブザーバビリティが⾼いシステム ◦
ドキュメントがある
ドキュメントの運⽤は難しい • ドキュメントがあることでチームレジリエンスが⾼まりそう • ⼀⽅でドキュメント⾃体の運⽤は難しい ◦ サービス運⽤のためのドキュメントとなるとシステムの複雑化に対して、 ド キュメント数が多くなる ◦
その多いドキュメントを更新するのも検索するのも⼤変
いい感じに更新していい感じに検索をしたい
いい感じに検索したい • キーワード検索だけだと⾟い • GitHubやNotionに情報散らばっていたりもする • ⽣成AIを使っていい感じにする ◦ ChatGPTそのままだとできない ◦
プロンプトエンジニアリング、ファインチューニング、RAG
いい感じに検索したい • RAG (Retrieval Augmented Generation) ◦ ⼤規模⾔語モデル(LLM)によるテキスト⽣成に外部情報の検索を組み合わ せることで、回答精度を向上させる技術
RAG実装⽅法 • ⾃前実装 ◦ 特定のユースケースに合わせて検索や⽣成ロジックを柔軟に調整可能 • ノーコード(Dify) ◦ ⼿軽にAIアプリを作れるOSSのLLMアプリ開発プラットフォーム ◦
コードを書く量が少なく、簡単な設定で利⽤可能 ◦ クラウドサービスもある ▪ ローカルで動かしてます
ざっくり構成
RAGで検索性はよくなるのか? • 集約してベクトル検索にするだけでキーワード検索よりだいぶマシ • チャット形式で欲しい情報までアクセスできるのは体験として良い
いい感じに更新されたい • ドキュメント⾃体が古い場合でもその情報を元に回答が⽣成されてしまう • いい感じに鮮度が保たれたドキュメントを維持したい • が、うまくいく⽅法は思いついてないです • 今後変わらない情報以外は古すぎるドキュメントを検索対象から外す? •
RAGとか⾔ってる場合じゃなくドキュメントを更新するようにすべきなので は?みたいに⽴ち戻ったり
その他
ハルシネーション対策 • ハルシネーション ◦ AIが事実にもとづかない情報や、実際には存在しない情報を⽣成する現象 • とりあえずBotに情報元を吐かせてそれを⼈が判断してるだけ ◦ 特別なハルシネーション対策はしてない •
AIOpsで⾃動化までやれると良いが結局は⼈の判断が最終的には必須であるので そこまで今は頑張らなくても良いかなと
Graph RAGとかも便利そう • Microsoft ResearchがRAGの新たなアプローチ、グラフ理論を応⽤したRAG • RAGに知識グラフを導⼊すると精度が3倍も上がるという調査結果 ◦ ⽂章内でキーワード同⼠の関連をグラフ構造として保持して、そのデータを もとにRAGをする
• LLMが⽣成した知識グラフを使⽤してプロンプトを拡張し、検索、⽣成を⾏う ◦ 例 ⼀つの障害でも複数の事象が絡み合う運⽤で相性が良さそう
None
感想とまとめ
感想とまとめ • Notionでドキュメント書いてDifyでお試しで動かしているが使えている • オペレーションへの疑問をChat形式で回答をもらえる&ソースを持ってきてくれ るので便利 • ⾼いオブザーバビリティにシニアな運⽤エンジニアがいれば未知の事象に対して もAIの助けがいらない気もする