E2E動確自動化によるノイズアラート削減~PagerDuty×Autify~
講演内容
私たちはJR東日本管内の列車予約を担うチケッティングサービスを運用しています。障害が発生すると予約不可・切符の受け取り不可・乗車不可といった事態に直結するため、夜間・休日を問わず24時間365日体制で監視業務・アラート対応を行うことが必須です。一方で社会の変化スピードに追随するため、より価値のある領域にリソースを投入することも求められています。そのために、運用の負担を下げる必要があったため、まずは一番負担になっていたアラート対応の改善に着手しました。PagerDutyさんからインシデント対応のあるべき姿を学びつつ、アラートの分析を行ったところ、サービス断につながる「インシデント」はごくわずかで大半は受電後に健全性確認を行うだけのノイズアラートであることが分かりました。ノイズアラートで起こされたくはないものの、健全性確認は確実に実施したい、この課題を解決するために、PagerDutyとAutifyを連携させてE2Eの健全性確認自動化を実現しました。結果として、復旧オペレーション不要なノイズアラートを200件から10件に削減でき、社員の負荷も大幅に軽減され、社員満足度も向上しています。今後はよりNoOpsに近づけていき、社員のリソースをより価値のある領域に投資していくことを目指します!
登壇者
株式会社JR東日本情報システム
駅サービスシステム部
チケッティングサービス推進PJ
チーフエンジニア
髙須 康平 氏
株式会社JR東日本情報システム
駅サービスシステム部 えきねっとサービスPJ
メンバー
堀口 大輝 氏
株式会社JR東日本情報システム
駅サービスシステム部
旅行業サービスPJ メンバー
神﨑 誠人 氏