Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[2026-09-11]SREは誰のもの?運用エンジニアが始める 「SRE領域への越境」とチー...
Search
tosite
September 11, 2026
Technology
23
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
[2026-09-11]SREは誰のもの?運用エンジニアが始める 「SRE領域への越境」とチームの進化の軌跡 〜Road to NEXT CRE
もう一度考えるSRE #2 in 福岡 / 「越境するSRE」
登壇
https://topotal.connpass.com/event/402202/
tosite
September 11, 2026
More Decks by tosite
See All by tosite
[2026-08-25]AIによる自動化と人の介入、その狭間で揺れる信頼性についての俺の思いを、波よ聞いてくれ
tosite
0
200
[2026-03-07]あの日諦めたスクラムの答えを僕達はまだ探している。〜守ることと、諦めることと、それでも前に進むチームの話〜
tosite
0
970
[2026-02-26]Road to NEXT CRE 〜SRE活動を通して見つけた、次世代CRE組織の在り方SP〜
tosite
0
290
[2026-12-12]あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
tosite
0
1.2k
[2025-02-07]生成AIで変える問い合わせの未来 〜チームグローバル化の香りを添えて〜
tosite
1
1.5k
[2024/10/25]CREの守護者たち 〜DevOps×シフトレフト - 俺またプロダクト救っちゃいました!?〜
tosite
0
2.1k
[2024/07/11]Guardianとして生まれ変わった俺は攻めと守りの運用で無双する 〜守りの天才が考える、攻めの運用術〜
tosite
0
1.5k
[2024/04/23]tbls活用事例 〜 ビューポイントから データベースを整理してみた話 〜
tosite
0
760
[2023/09/15]ER図クエスト 過ぎ去りしドキュメントを求めて 〜複雑性に眠る秘宝〜
tosite
0
980
Other Decks in Technology
See All in Technology
Code4Lib JAPANカンファレンス2026 開会挨拶 / Code4Lib JAPAN Conference 2026: Opening Remarks
ykiyota
0
230
AIで実装は速くなった。なのにプロダクトは速くならない。職能の壁を越えて価値のフローを設計する
nwiizo
7
7.5k
コスト最適化の「めんどくさい」を AWS FinOps Agent でチョット楽にする
classmethod_kaz
0
280
アリアドネの糸と、20年ごとの建て替え ── 長尾真『電子図書館』を、伊勢で読み直す / Rereading Makoto Nagao’s "Electronic Library" in Ise
ykiyota
0
110
例外の正しい扱い方 そのエラー try-catchして大丈夫?
jinwatanabe
3
370
Oracle Cloud Infrastructure IaaS 新機能アップデート 2026/6 - 2026/8
oracle4engineer
PRO
0
130
V8コントリビュート超入門
riyaamemiya
0
150
薬剤師(ドメインエキスパート)と一緒に育てる薬局向けAIアシスタント
kakehashi
PRO
2
120
【視聴者参加型!】AWSセキュリティアンチパターンクイズ
syoshie
0
460
プロダクトエンジニアに必要な「いい感じ」に作る能力 〜たくさん作れる時代に、どこまで作るかの決め方〜
jnishime_dresscode
2
1.4k
Tab5をRubyで動くパソコンにする
kishima
2
270
synctest時代のhttptest Go 1.27で変わるHTTPサーバテストの裏側 / go conference2026 synctest and httptest
budougumi0617
1
230
Featured
See All Featured
Embracing the Ebb and Flow
colly
88
5.2k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
370
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
69
65k
Music & Morning Musume
bryan
47
7.4k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
Testing 201, or: Great Expectations
jmmastey
46
8.3k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
45k
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.5k
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
The Spectacular Lies of Maps
axbom
PRO
1
980
Building Adaptive Systems
keathley
44
3.2k
Transcript
SREは誰のもの?運用エンジニアが始める 「SRE領域への越境」とチームの進化の軌跡 〜Road to NEXT CRE 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ
手島 尚人(tosite) 2026-09-11 もう一度考えるSRE #2 in 福岡 / 「越境するSRE」 TKPガーデンシティPREMIUM天神ブリッククロス
自己紹介 Money Forward, Inc. 2
😃 手島 尚人(tosite) 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室
エンジニアエンゲージメントグループ Fukuoka TechPR(福岡技術広報) Money Forward, Inc. 3
手島 尚人(tosite) 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室 エンジニアエンゲージメントグループ
Fukuoka TechPR(福岡技術広報) 趣味: 😃 キャンプ・登山 旅行・ドライブ 車中泊・料理 サウナ・温泉 かっちゃん Money Forward, Inc. 4
😃 手島 尚人(tosite) 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室
エンジニアエンゲージメントグループ Fukuoka TechPR(福岡技術広報) Money Forward, Inc. 5
Money Forward, Inc. 6
クラウド経費というプロダクトの 開発・保守運用を行っています Money Forward, Inc. 7
😃 手島 尚人(tosite) 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室
エンジニアエンゲージメントグループ Fukuoka TechPR(福岡技術広報) Money Forward, Inc. 8
From Fukuoka TechPR(福岡技術広報) 福岡開発拠点では 社外エンジニア向けイベントを 不定期に行っています! 共催のお誘いも大歓迎です! お待ちしております! イベントスペース Money
Forward, Inc. 9
From Fukuoka TechPR(福岡技術広報) Money Forward, Inc. 10
宣伝おしまい Money Forward, Inc. 11
😃 手島 尚人(tosite) 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室
エンジニアエンゲージメントグループ Fukuoka TechPR(福岡技術広報) Money Forward, Inc. 12
What is Guardian group?
What is Guardian Group? 問い合わせ対応などを主務と するエンジニア組織のこと 世間一般ではCREと 呼ばれる職種に近い CRE…Customer Reliablity
Engineer(ing) Money Forward, Inc. 14
What is Guardian Group? 問い合わせ対応だけでなく インシデント対応、エラー監視や ライブラリのアップデートなどの 対応も行っている Money Forward,
Inc. 15
What is Guardian Group? その他、リリースの調整などの プロダクトの安全弁としての 役割も担っている Money Forward, Inc.
16
組織図 Money Forward, Inc. 17
What is Guardian Group? 関連組織 PO/PdM ビジネス 開発組織 QA カスタマーサポート
(CS) お客様 Guardian (CRE) 問い合わせ カスタマーサクセス (導入支援) SRE Warrior (機能開発) Money Forward, Inc. 18
What is Guardian Group? 関連組織 日頃から数多くのステーク ホルダーとコミュニケーションを 通してプロダクトの信頼性を 高めるための活動をしている ビジネス
PO/PdM 開発組織 QA カスタマーサポート (CS) お客様 Guardian (CRE) 問い合わせ カスタマーサクセス (導入支援) SRE Warrior (機能開発) Money Forward, Inc. 19
What is Guardian Group? 取り組んでいるタスクを 分類するとこんな感じ Money Forward, Inc. 20
What is Guardian Group? 01 02 03 04 対応 効率化
改善 検知・監視 起きた事象に対する 対応、調査。 問い合わせや運用業務の トイル削減。 プロダクトの改善、 問い合わせ起因のバグ修正。 エラーの監視や検知、 その他SLIの監視。 例: 問い合わせ対応、 インシデント対応、 エラー対応など 例: 運用自動化、 問い合わせフロー構築、 顧客管理ツール機能追加など 例: プロダクトの改善、 バグ修正、 検知したエラーの修正、 パフォーマンスチューニング など 例: Datadog ダッシュボード作成、 エラー監視ツール運用、 問い合わせ分類など Money Forward, Inc. 21
What is Guardian Group? 01 02 対応 03 効率化 04
改善 検知・監視 ここはCRE組織にとっての「義務」であり コア機能に当たる部分 対応は必須だがこれだけだと 「保守運用」止まりになってしまうことに注意 Money Forward, Inc. 22
What is Guardian Group? 01 02 対応 03 効率化 04
改善 検知・監視 ここはCREの手腕の見せ所 トイルを削減し、効率化する ことでCREとしての改善活動に 時間を使えるようになる Money Forward, Inc. 23
What is Guardian Group? 01 02 対応 03 効率化 04
改善 検知・監視 顧客に近い立場にいるCREだからこそできる 「お客様に価値を届けるためのプロダクト改善」に当たる部分 例えばUI/UXの改善やアラートメッセージの修正であったり パフォーマンスチューニングなども手掛ける Money Forward, Inc. 24
What is Guardian Group? 01 02 対応 03 効率化 04
改善 検知・監視 「対応が発生する前に先回りする」ために必要なもの Datadogのダッシュボードや アラート監視ツールなどで 日々モニタリングを行っている Money Forward, Inc. 25
ここまでまとめ
• Guardianグループ = CRE • 保守運用に留まらず色んなことをやっている • 多くのステークホルダーとやり取りしている
我々にとっての 「理想のCRE」とは
我々にとっての「理想のCRE」とは の前に Money Forward, Inc. 29
我々にとっての「理想のCRE」とは 理想像に向けたケイパビリティ Money Forward, Inc. 30
我々にとっての「理想のCRE」とは Lv4 Lv3 Lv2 大規模改善 検知・監視 小規模改善 Lv1 トイル削減・効率化 問い合わせ対応
大規模改善…Railsのバージョンアップなど Money Forward, Inc. 31
我々にとっての「理想のCRE」とは 現状のGuardian グループはLv3〜4の 間くらいにいる Lv4 Lv3 Lv2 大規模改善 検知・監視 小規模改善
Lv1 トイル削減・効率化 問い合わせ対応 Money Forward, Inc. 32
我々にとっての「理想のCRE」とは Lv4 リーダーを引き継いだ 当初はLv3くらい だった Lv3 Lv2 大規模改善 検知・監視 小規模改善
Lv1 トイル削減・効率化 問い合わせ対応 Money Forward, Inc. 33
我々にとっての「理想のCRE」とは リーダーを引き継いだタイミングで 「どのようなCREが理想のCREなのだろう」 ということを考えた Money Forward, Inc. 34
我々にとっての「理想のCRE」とは CREにとって「数をこなす」ことは 重要ではない むしろ、問い合わせが来ないなら 来ないに越したことはない Money Forward, Inc. 35
我々にとっての「理想のCRE」とは 我々は我々の業務を 「攻め・守り」に分類した Money Forward, Inc. 36
我々にとっての「理想のCRE」とは 🛡問い合わせ対応=守りの運用 を 最小手数でこなせるようにする + ⚔運用改善・効率化=攻めの運用 を 用いてユーザー価値を最大化させる Money Forward,
Inc. 37
私たちにとって理想のCREとは 問い合わせ対応の時間を業務効率化で削減し、 異常を監視することで問い合わせ母数の削減を 行うとともに、確保した時間で検知・監視の 仕組み強化や運用改善・機能改善を行いつつ CI/CDの改善や顧客管理ツール改善などを通し 顧客や社内顧客(CSや開発者など)に対して 継続的に価値を届け続けられるエンジニア (長…)
ここまでまとめ
• 問い合わせ対応だけでは面白くないので 新しいことがしたい • ケイパビリティをどう高めていくかを整理した • 結果、「守りの運用」と「攻めの運用」を 定義、運用改善にも手が出せるようになった
SREとの出会い
SREとの出会い 先程の理想の話に戻ろう Money Forward, Inc. 42
SREとの出会い 信頼性を担保すること、 そしてその向上を目指して ありとあらゆる活動を行う ことが私たちのミッション というのが先程の話 Money Forward, Inc. 43
私たちにとって理想のCREとは 問い合わせ対応の時間を業務効率化で削減 し、 異常を監視する ことで問い合わせ母数の削減を 行うとともに、確保した時間で検知・監視の 仕組み強化 や運用改善・機能改善 を行いつつ CI/CDの改善
や顧客管理ツール改善などを通し 顧客や社内顧客(CSや開発者など)に対して 継続的に価値を届け続けられる エンジニア
トイルの削減 能動的な監視 私たちにとって理想のCREとは 問い合わせ対応の時間を業務効率化で削減 し、 アラートの 異常を監視する ことで問い合わせ母数の削減を 最適化 行うとともに、確保した時間で検知・監視の
信頼性向上 仕組み強化 や運用改善・機能改善 を行いつつ パフォーマンス 改善 CI/CDの改善 や顧客管理ツール改善などを通し リリース エンジニアリング 顧客や社内顧客(CSや開発者など)に対して 継続的に価値を届け続けられる エンジニア 継続的な 価値提供
SREとの出会い これってつまり…? Money Forward, Inc. 46
時は流れ 2026年1月… Money Forward, Inc. 47
SREとの出会い Money Forward, Inc. 48
SREとの出会い 前々からうっすらと 自分たちがやっていることは SRE活動の延長線にあるものなのでは という感覚が生まれていた そのことを確かめるために参加してきた Money Forward, Inc. 49
SREとの出会い 参加してみての感想 Money Forward, Inc. 50
SREとの出会い マネーフォワードテックブログ 「SRE Kaigi 2026 参加レポート 〜SRE活動を通して見つけた、次世代CRE組織の在り方〜 」より引用 Money Forward,
Inc. 51
SREとの出会い 主にインフラレイヤーからシステムを 下支えしてくれるのがSREというのなら CREはアプリケーションレイヤーを 支えるエンジニアなのでは? Money Forward, Inc. 52
SREとの出会い そしてSREとCREは根っこの部分は同じで どちらも「顧客への継続的価値提供」を目的とした 信頼性活動でつながっているのでは? Money Forward, Inc. 53
SREとの出会い もはやCREは単なる職種ではなく SREと同様に「活動」の一環なのでは?? CREの魂を宿しているエンジニアは全員 「CRE」を名乗ってもいいのでは??? Money Forward, Inc. 54
SREとの出会い そこに思い至り Guardianの進むべき先は SRE活動を取り入れたCRE組織 であることを再認識した 「NEXT CRE」を掲げて グループの強化を行うことにした Money Forward,
Inc. 55
What is NEXT? Money Forward, Inc. 56
SREとの出会い Money Forward, Inc. 57
SREとの出会い まずはその手始めとして 「SREの知識地図」をチームで 輪読する会を開いた SREの知識地図——基礎知識から現場での実践まで Money Forward, Inc. 58
SREとの出会い 開催して得られたもの Money Forward, Inc. 59
SREとの出会い この輪読会に途中から SREチームも合流してくれた Money Forward, Inc. 60
SREとの出会い マネーフォワードテックブログ 「CREの日常にはSRE活動が溢れていた ― SRE本の輪読会がチームにもたらしたもの 」より引用 Money Forward, Inc. 61
SREとの出会い 信頼性にまつわる話や インフラレイヤーの話など 広くざっくばらんに 話せる場があって助かっている Money Forward, Inc. 62
SREとの出会い これらの経験を通して徐々に SRE活動の経験値を貯め NEXT CREとなれるよう 注力している Money Forward, Inc. 63
ここまでまとめ
• SREとCREに共通点がありそうという疑問は SRE Kaigi 2026に参加してみて確信に変わった • 現在GuardianグループはNEXT CREとして SRE活動の修行中 •
最近はSREとも定例をやってます!
NEXT CREの軌跡
NEXT CREの軌跡 01 02 03 04 対応 効率化 改善 検知・監視
起きた事象に対する 対応、調査。 問い合わせや運用業務の トイル削減。 プロダクトの改善、 問い合わせ起因のバグ修正。 エラーの監視や検知、 その他SLIの監視。 例: 問い合わせ対応、 インシデント対応、 エラー対応など 例: 運用自動化、 問い合わせフロー構築、 顧客管理ツール機能追加など 例: プロダクトの改善、 バグ修正、 検知したエラーの修正、 パフォーマンスチューニング など 例: Datadog ダッシュボード作成、 エラー監視ツール運用、 問い合わせ分類など Money Forward, Inc. 67
「起きたとき」への備え キーワード: トイル・MTTR削減・トリアージ・ インシデントコマンダー MTTR…Mean Time To Recovery
例えば 問い合わせ 対応Bot Money Forward, Inc. 69
NEXT CREの軌跡 問い合わせの一次対応を AIにさせるようにした Money Forward, Inc. 70
NEXT CREの軌跡 このAIの調査結果を元に メンバーは調査対応に入る 事前に仮説や過去案件が 示されることによって 練度の低いメンバーでも 速やかに調査に移れる Money Forward,
Inc. 71
NEXT CREの軌跡 膨大なドメイン知識を 要求される問い合わせ 対応において初手で 「何をすればいいか すらわからない」 という状況は回避できた たまにハルシネーションを起こすのは御愛嬌ということで… Money
Forward, Inc. 72
例えば 類似案件 検索Bot Money Forward, Inc. 73
NEXT CREの軌跡 似たような問い合わせを 検索するためのBotを作成した 「問い合わせ対応プロンプト」から 検索機能だけを切り出した Money Forward, Inc. 74
NEXT CREの軌跡 そのまま調査モードに 移行する機能も搭載済み 現在α版 Money Forward, Inc. 75
NEXT CREの軌跡 Guardianメンバーだけでなく CSメンバーがエンジニアに エスカレーションする前の 壁打ち相手としても活用されている Money Forward, Inc. 76
NEXT CREの軌跡 類似点や概要についても 記載されているので 容易に概略を短時間で 把握することが可能 Money Forward, Inc. 77
類似案件検索機能 実装時に発生した問題 Money Forward, Inc. 78
NEXT CREの軌跡 問い合わせ文章〜調査〜回答を 行っているのは人間 人間である以上 文章に表記揺れが 起こるのは避けられない Money Forward, Inc.
79
NEXT CREの軌跡 例えば同じ機能の 同じ問い合わせであっても 解像度の違いなどによって ブレは発生する Money Forward, Inc. 80
NEXT CREの軌跡 そこでクローズ時に 「キーワード作成」 「概要まとめ」 をAIに記載させる 仕組みを導入した Money Forward, Inc.
81
NEXT CREの軌跡 いわゆるAIを用いた ベクトルデータの作成 Money Forward, Inc. 82
NEXT CREの軌跡 AIがサマリーを作るので ある程度の品質の均一化と 統一的な言語化がなされる Money Forward, Inc. 83
NEXT CREの軌跡 これはBotからだけでなく 人間が利用する際にも 有効活用できる Money Forward, Inc. 84
NEXT CREの軌跡 01 02 03 04 対応 効率化 改善 検知・監視
起きた事象に対する 対応、調査。 問い合わせや運用業務の トイル削減。 プロダクトの改善、 問い合わせ起因のバグ修正。 エラーの監視や検知、 その他SLIの監視。 例: 問い合わせ対応、 インシデント対応、 エラー対応など 例: 運用自動化、 問い合わせフロー構築、 顧客管理ツール機能追加など 例: プロダクトの改善、 バグ修正、 検知したエラーの修正、 パフォーマンスチューニング など 例: Datadog ダッシュボード作成、 エラー監視ツール運用、 問い合わせ分類など Money Forward, Inc. 85
「予防策」への備え キーワード: トイル削減・自動化
問い合わせ対応 Bot導入で 生まれた課題 Money Forward, Inc. 87
NEXT CREの軌跡 一定の自動化はできたが… Money Forward, Inc. 88
NEXT CREの軌跡 プロンプトを育てるためには都度 人の手で修正・更新を行う必要がある Money Forward, Inc. 89
NEXT CREの軌跡 その過程でプロンプトが 肥大化するのは問題 また、デグレのリスクもある Money Forward, Inc. 90
NEXT CREの軌跡 そこで考案したのが 「デンキヒツジ」システム フィリップ・K・ディック "アンドロイドは電気羊の夢を見るか?" Money Forward, Inc. 91
NEXT CREの軌跡 一言で言うと AI自ら自省・学習を 行い「夢=コアメモリ」の 定着と忘却を通して 自己進化する仕組み マネーフォワードテックブログ 「AIはデンキヒツジの夢を見るか? -
Claude Codeで構築した自己学習フィードバックループ 」 Money Forward, Inc. 92
NEXT CREの軌跡 詳しくはブログを ご覧ください マネーフォワードテックブログ 「AIはデンキヒツジの夢を見るか? - Claude Codeで構築した自己学習フィードバックループ 」
Money Forward, Inc. 93
NEXT CREの軌跡 デンキヒツジがもたらすHITL 01 04 AIによる一次調査 (問い合わせ対応Bot) 02 HITL…Human In
The Loop 3の自己学習ポイントを評価して 取り込めそうな点を学習させる 03 人間による調査 人間による学習承認 コアメモリ反映 AIによるセルフフィードバック 2と1の乖離を学習して 自身の内省と学習を行う Money Forward, Inc. 94
NEXT CREの軌跡 デンキヒツジがもたらすHITL 01 04 AIによる一次調査 (問い合わせ対応Bot) 人間による学習承認 コアメモリ反映 3の自己学習ポイントを評価して
取り込めそうな点を学習させる 割愛 02 03 人間による調査 AIによるセルフフィードバック 2と1の乖離を学習して 自身の内省と学習を行う Money Forward, Inc. 95
NEXT CREの軌跡 デンキヒツジがもたらすHITL 01 04 AIによる一次調査 (問い合わせ対応Bot) 02 3の自己学習ポイントを評価して 取り込めそうな点を学習させる
03 人間による調査 人間による学習承認 コアメモリ反映 AIによるセルフフィードバック 2と1の乖離を学習して 自身の内省と学習を行う Money Forward, Inc. 96
NEXT CREの軌跡 AIによる自己ふりかえり 自分で学習した項目は チェックボックスで表示 Money Forward, Inc. 97
NEXT CREの軌跡 デンキヒツジがもたらすHITL 01 04 AIによる一次調査 (問い合わせ対応Bot) 02 3の自己学習ポイントを評価して 取り込めそうな点を学習させる
03 人間による調査 人間による学習承認 コアメモリ反映 AIによるセルフフィードバック 2と1の乖離を学習して 自身の内省と学習を行う Money Forward, Inc. 98
NEXT CREの軌跡 人間は有益な学習ポイントに チェックをするだけ 自然言語で学習ポイントを 追加することも可能 Money Forward, Inc. 99
NEXT CREの軌跡 学習が反映されたコアメモリ 「1.AIによる一次調査」に 利用されるため 次回以降賢くなる Money Forward, Inc. 100
NEXT CREの軌跡 嬉しい誤算 Money Forward, Inc. 101
NEXT CREの軌跡 この「人間による学習承認」フェーズで 必ず人間の判断が入るが、その判断は チーム全体のふりかえりの場で行っている Money Forward, Inc. 102
NEXT CREの軌跡 学習させる際に問い合わせのおさらいと 各メンバーの判断基準が言語化されるため 暗黙知が明示化され、人間の学習にもつながる Money Forward, Inc. 103
例えばエラー監視ツール Money Forward, Inc. 104
NEXT CREの軌跡 Railsなどの動的型付け言語でよくある話だが 「起きてみるまでわからない」エラーが多く エラーを眺めるだけでも一日が終わることも… Money Forward, Inc. 105
NEXT CREの軌跡 アラートで疲弊したくないので できる限り潰していきたいが 圧倒的物量の前には無力… Money Forward, Inc. 106
NEXT CREの軌跡 そこで、特定のリアクションをつけたら AIによる分析とトリアージまでの 一連の流れを自動で行うようにした Money Forward, Inc. 107
NEXT CREの軌跡 初期トリアージが終わった状態から 対応可否の検討が行えるので だいぶ工数が削減できた Money Forward, Inc. 108
NEXT CREの軌跡 01 02 03 04 対応 効率化 改善 検知・監視
起きた事象に対する 対応、調査。 問い合わせや運用業務の トイル削減。 プロダクトの改善、 問い合わせ起因のバグ修正。 エラーの監視や検知、 その他SLIの監視。 例: 問い合わせ対応、 インシデント対応、 エラー対応など 例: 運用自動化、 問い合わせフロー構築、 顧客管理ツール機能追加など 例: プロダクトの改善、 バグ修正、 検知したエラーの修正、 パフォーマンスチューニング など 例: Datadog ダッシュボード作成、 エラー監視ツール運用、 問い合わせ分類など Money Forward, Inc. 109
「改善活動」への備え キーワード: パフォーマンスチューニング・ リリースエンジニアリング
例えば パフォーマンス チューニング Money Forward, Inc. 111
NEXT CREの軌跡 CREとして掲げた目標の一つに パフォーマンスチューニングがあった だが、決して経験や知見が豊富という わけではなく、恐怖心が常にあった Money Forward, Inc. 112
NEXT CREの軌跡 特に難しいところとして 「測定に必要な大量データの準備」 「単純に測定コストが非常に高い」 「分析には高度な知識が必要」 などがあった Money Forward, Inc.
113
NEXT CREの軌跡 そこで、テストコードを インターフェースとして AIを用いたパフォーマンス チューニング用の ベンチマーク測定と分析を 考えてみることにした Money Forward,
Inc. 114
NEXT CREの軌跡 ブログもご覧ください マネーフォワードテックブログ 「インターフェースとしてのRSpecとAIで実現する、パフォーマンスチューニングの自動化 」より引用 Money Forward, Inc. 115
NEXT CREの軌跡 プルリクエストから 取得した変更部分が 呼び出されるテストを ベースにベンチマーク テストを作成して 変更前と変更後の ログを取得して 分析するというもの
Money Forward, Inc. 116
NEXT CREの軌跡 Money Forward, Inc. 117
NEXT CREの軌跡 の前に Money Forward, Inc. 118
NEXT CREの軌跡 パフォーマンス計測用の ヘルパーメソッドを作成した Money Forward, Inc. 119
NEXT CREの軌跡 Money Forward, Inc. 120
NEXT CREの軌跡 ヘルパーメソッドで囲った 部分のログを出力する 出力するログは 「クエリログ」 「メモリ使用量ログ」 「EXPLAINログ」 の3種類 Money
Forward, Inc. 121
NEXT CREの軌跡 改めて仕組み解説 Money Forward, Inc. 122
NEXT CREの軌跡 01 変更部分が呼び出されるテストケースを特定して構造を把握する この際、できる限りリクエストSpecなどのエンドに近いテストが望ましい 02 テストケース中に利用されているFactoryを利用して大量のテストデータを作成 テストが通るまで繰り返し修正を行う 03 ベンチマークテスト中には先程のヘルパーメソッドを必ず差し込むよう命令
完了条件に照らし合わせて基準を満たさなければ2に戻って再修正 Money Forward, Inc. 123
NEXT CREの軌跡 生成される ベンチマークテスト Money Forward, Inc. 124
NEXT CREの軌跡 Money Forward, Inc. 125
NEXT CREの軌跡 Money Forward, Inc. 126
NEXT CREの軌跡 作成したベンチマークテストを 「変更を加える前のmainブランチ」と 「変更を加えた後のfeatureブランチ」で それぞれ実行する Money Forward, Inc. 127
NEXT CREの軌跡 ログのイメージはこんな感じ クエリログ メモリ使用量ログ EXPLAINログ Money Forward, Inc. 128
NEXT CREの軌跡 クエリログ ActiveRecord実行時のSQLクエリを全てキャプチャ バインド変数、キャッシュ情報も記録 Money Forward, Inc. 129
NEXT CREの軌跡 Money Forward, Inc. 130
NEXT CREの軌跡 メモリ使用量ログ 実行時間の測定と、メモリ使用量の測定 Money Forward, Inc. 131
NEXT CREの軌跡 Money Forward, Inc. 132
NEXT CREの軌跡 EXPLAINログ 変更部分のクエリのEXPLAIN分析を行う インデックス使用状況の確認や フルテーブルスキャン検出も行える Money Forward, Inc. 133
NEXT CREの軌跡 Money Forward, Inc. 134
NEXT CREの軌跡 Money Forward, Inc. 135
NEXT CREの軌跡 「変更前」「変更後」の計測ログは整った このログを分析プロンプトに食わせて パフォーマンスを分析してもらう Money Forward, Inc. 136
NEXT CREの軌跡 分析は以下の3フェーズに分かれている Money Forward, Inc. 137
NEXT CREの軌跡 01 アプリケーションコードベースの分析 メモリ展開リスクやEager Loadingなどの影響を分析する 02 ログ分析 メモリ使用量、N+1分析、スロークエリなどの情報を分析する 03
レポート作成 1と2の情報を統合し、レポートを作成する Money Forward, Inc. 138
NEXT CREの軌跡 データドリブンで チューニング結果が 記録されるので 安心してレビューできる Money Forward, Inc. 139
NEXT CREの軌跡 すでに3エンドポイントの改修を実施済み 現時点で何のトラブルも起きていない Money Forward, Inc. 140
例えばE2Eテスト Money Forward, Inc. 141
NEXT CREの軌跡 不具合を水際(=E2Eテスト)で 検知できれば問い合わせの数も減らせる Money Forward, Inc. 142
NEXT CREの軌跡 一部SDET的な活動の一環として E2Eテストツールの実行環境の 整備やメンテナンス 対話的にテストケースを作る ツールの導入なども 行っている SDET…Software Development
Engineer in Test Money Forward, Inc. 143
NEXT CREの軌跡 01 02 03 04 対応 効率化 改善 検知・監視
起きた事象に対する 対応、調査。 問い合わせや運用業務の トイル削減。 プロダクトの改善、 問い合わせ起因のバグ修正。 エラーの監視や検知、 その他SLIの監視。 例: 問い合わせ対応、 インシデント対応、 エラー対応など 例: 運用自動化、 問い合わせフロー構築、 顧客管理ツール機能追加など 例: プロダクトの改善、 バグ修正、 検知したエラーの修正、 パフォーマンスチューニング など 例: Datadog ダッシュボード作成、 エラー監視ツール運用、 問い合わせ分類など Money Forward, Inc. 144
「検知・監視」への備え キーワード: オブザーバビリティ・MTTD MTTD…Mean Time To Detect
NEXT CREの軌跡 ここは今まで力を入れたくても なかなか入れられなかったところ Money Forward, Inc. 146
NEXT CREの軌跡 NEXT CREにふさわしい 活躍をするためには ここのパワーアップが必要不可欠 Money Forward, Inc. 147
ここまでまとめ
• 対応、効率化、改善、検知・監視の それぞれで様々な取り組みをしてきた • 一部SRE領域だけでなくQA領域などにも 顔を出している • だが、検知・監視についてはまだ十分ではない
まとめ
まとめ SREはもはや職種ではなく 活動であるのと同様に CREも活動と名付けられる日が そう遠くない未来に訪れると信じている Money Forward, Inc. 151
まとめ 特に今後AIの台頭によって 職種の垣根がぼやけて 曖昧になっていくとしたら 「ユーザーフォーカスのための越境」は もっと大事になっていくはず Money Forward, Inc. 152
まとめ 現にGuardianグループでも 「全てを守る」ことは 難しくなってきており AIによる圧倒的情報量・物量に対して 「正しく守る」ことにシフトしている Money Forward, Inc. 153
まとめ そのためには 「信頼性のシフトレフト」が 重要になってくる 何かが起きてから対応するのではなく 起きる前にその芽を摘むということ Money Forward, Inc. 154
まとめ これはCRE活動の根幹でもあり 我々が大事にしてきた マインドセットでもある Money Forward, Inc. 155
まとめ このマインドセットはCREだけでなく SREやQAも持っているもの 信頼性の向き先が違うだけで 我々は同じ目的に向かって 信頼性活動を行っている Money Forward, Inc. 156
Reliability Engineering
信頼性を守るのは 私であり、あなたであり プロダクトに携わる全員 であってほしい
職種は違えど志は同じ 一緒に信頼性のシフトレフトに 取り組んでプロダクトを 守っていきましょう!
お金を前へ。 人生をもっと前へ。 Money Forward, Inc. 160
ご清聴ありがとう ございました!