Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI前提のサービス運用ってなんだろう?
Search
ryuichi1208
November 18, 2024
Technology
9
1.8k
AI前提のサービス運用ってなんだろう?
ryuichi1208
November 18, 2024
Tweet
Share
More Decks by ryuichi1208
See All by ryuichi1208
AI前提のサービス運用について再考する
ryuichi1208
1
370
A Shallow Dive into the World of TCP
ryuichi1208
1
520
入門リトライ
ryuichi1208
19
7k
超入門SRE 2025
ryuichi1208
4
1.3k
Goで作って学ぶWebSocket
ryuichi1208
5
3.5k
コード化されていない稼働中のサーバを移設_再構築する技術
ryuichi1208
20
11k
入門 バックアップ
ryuichi1208
22
10k
効果的なオンコール対応と障害対応
ryuichi1208
9
3.8k
コロナ禍とその後:地方エンジニアが学んだキャリア戦略の変遷
ryuichi1208
6
450
Other Decks in Technology
See All in Technology
Automatically generating types by running tests
sinsoku
2
2.9k
Dynamic Reteaming And Self Organization
miholovesq
3
490
いつも初心者向けの記事に助けられているので得意分野では初心者向けの記事を書きます
toru_kubota
2
310
ElixirがHW化され、最新CPU/GPU/NWを過去のものとする数万倍、高速+超省電力化されたWeb/動画配信/AIが動く日
piacerex
0
140
Creating Awesome Change in SmartNews
martin_lover
1
280
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
0
270
AWS Control Towerを 数年運用してきての気づきとこれから/aws-controltower-ops-tips
tadayukinakamura
0
150
SDカードフォレンジック
su3158
1
610
ブラウザのレガシー・独自機能を愛でる-Firefoxの脆弱性4選- / Browser Crash Club #1
masatokinugawa
1
460
Amazon CloudWatch Application Signals ではじめるバーンレートアラーム / Burn rate alarm with Amazon CloudWatch Application Signals
ymotongpoo
5
500
Road to Go Gem #rubykaigi
sue445
0
450
彩の国で始めよう。おっさんエンジニアから共有したい、当たり前のことを当たり前にする技術
otsuki
0
150
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
4 Signs Your Business is Dying
shpigford
183
22k
Typedesign – Prime Four
hannesfritz
41
2.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
A Tale of Four Properties
chriscoyier
158
23k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Navigating Team Friction
lara
184
15k
Transcript
AI前提のサービス運⽤ってなんだろう? 渡部⿓⼀ JAWS-UG SRE⽀部 #10 SREでもAI活⽤がしたい!
⾃⼰紹介 • 株式会社IVRy SWE ◦ 2024/11/1 ⼊社 • 渡部⿓⼀ •
仙台在住 • EOL対応‧障害対応
サービスの運⽤⼤変じゃないですか?
課題 • システムは複雑化していき運⽤コストは増えていきがち • WebサーバとDBだけがあるというようなシンプルな構成と同様の運⽤をしていく のは難しい ◦ 技術要素、クラウド、プラットフォームエンジニアリング、SRE • 何が⼤変なのかわからないくらい⼤変になったり
どうするとよいのかの考察 • ベテランエンジニアを囲って置く ◦ IT業界は特に流動性が⾼いと⾔われている中で現実的ではない • たくさんエンジニアを採⽤して育てる ◦ プロダクトの成⻑速度に対して間に合う場合を除いて現実的ではない •
今いる⼈が全⼒で頑張る ◦ 複雑なシステムを完全に理解する努⼒をしてそのメンバーだけで運⽤ ◦ 組織改編、異動⼀つで変わる
どうするとよいのかの考察 • チームメンバーに依存した運⽤のやり⽅でどうにかするのは難しそう • チームの⼊れ替わりを前提とした運⽤が必要となる ◦ チームレジリエンス
⼈の⼊れ替わりが発⽣しても強いチームを作る • ⼊れ替わりに強いチーム ◦ オンボーディングの仕組みが整っている ◦ 属⼈化、暗黙知が少ない ◦ オブザーバビリティが⾼いシステム ◦
ドキュメントがある
ドキュメントの運⽤は難しい • ドキュメントがあることでチームレジリエンスが⾼まりそう • ⼀⽅でドキュメント⾃体の運⽤は難しい ◦ サービス運⽤のためのドキュメントとなるとシステムの複雑化に対して、 ド キュメント数が多くなる ◦
その多いドキュメントを更新するのも検索するのも⼤変
いい感じに更新していい感じに検索をしたい
いい感じに検索したい • キーワード検索だけだと⾟い • GitHubやNotionに情報散らばっていたりもする • ⽣成AIを使っていい感じにする ◦ ChatGPTそのままだとできない ◦
プロンプトエンジニアリング、ファインチューニング、RAG
いい感じに検索したい • RAG (Retrieval Augmented Generation) ◦ ⼤規模⾔語モデル(LLM)によるテキスト⽣成に外部情報の検索を組み合わ せることで、回答精度を向上させる技術
RAG実装⽅法 • ⾃前実装 ◦ 特定のユースケースに合わせて検索や⽣成ロジックを柔軟に調整可能 • ノーコード(Dify) ◦ ⼿軽にAIアプリを作れるOSSのLLMアプリ開発プラットフォーム ◦
コードを書く量が少なく、簡単な設定で利⽤可能 ◦ クラウドサービスもある ▪ ローカルで動かしてます
ざっくり構成
RAGで検索性はよくなるのか? • 集約してベクトル検索にするだけでキーワード検索よりだいぶマシ • チャット形式で欲しい情報までアクセスできるのは体験として良い
いい感じに更新されたい • ドキュメント⾃体が古い場合でもその情報を元に回答が⽣成されてしまう • いい感じに鮮度が保たれたドキュメントを維持したい • が、うまくいく⽅法は思いついてないです • 今後変わらない情報以外は古すぎるドキュメントを検索対象から外す? •
RAGとか⾔ってる場合じゃなくドキュメントを更新するようにすべきなので は?みたいに⽴ち戻ったり
その他
ハルシネーション対策 • ハルシネーション ◦ AIが事実にもとづかない情報や、実際には存在しない情報を⽣成する現象 • とりあえずBotに情報元を吐かせてそれを⼈が判断してるだけ ◦ 特別なハルシネーション対策はしてない •
AIOpsで⾃動化までやれると良いが結局は⼈の判断が最終的には必須であるので そこまで今は頑張らなくても良いかなと
Graph RAGとかも便利そう • Microsoft ResearchがRAGの新たなアプローチ、グラフ理論を応⽤したRAG • RAGに知識グラフを導⼊すると精度が3倍も上がるという調査結果 ◦ ⽂章内でキーワード同⼠の関連をグラフ構造として保持して、そのデータを もとにRAGをする
• LLMが⽣成した知識グラフを使⽤してプロンプトを拡張し、検索、⽣成を⾏う ◦ 例 ⼀つの障害でも複数の事象が絡み合う運⽤で相性が良さそう
None
感想とまとめ
感想とまとめ • Notionでドキュメント書いてDifyでお試しで動かしているが使えている • オペレーションへの疑問をChat形式で回答をもらえる&ソースを持ってきてくれ るので便利 • ⾼いオブザーバビリティにシニアな運⽤エンジニアがいれば未知の事象に対して もAIの助けがいらない気もする