AI障害対応と運用監視|AIが調べる部分と人が判断する部分
システムを公開したあとの障害対応や運用監視に、AIをどう使えばよいのか。この記事では、AIが調べる部分と人が判断する部分を、障害対応の流れに沿って整理します。あわせて、新規事業のシステムで監視を設計するときの考え方と、外注するときに確かめたい点もまとめました。
公開後の障害対応は、5つの作業でできている
障害対応というと、夜中に呼び出されて原因を探し、直す作業を思い浮かべがちです。ただ実際には、いくつかの作業が順につながっています。AIにどこまで任せるかを考えるには、まずこの作業を分けて見ておくと整理しやすくなります。
- 検知:異常が起きたことに気づく。監視の仕組みが通知を出す、利用者から問い合わせが来る、など
- 切り分け:どこで何が起きているのかを絞り込む。アプリなのか、データベースなのか、外部サービスなのか
- 復旧:まず利用者への影響を止める。直前の状態に戻す、一時的に機能を止める、など
- 原因究明:なぜ起きたのかを調べる
- 再発防止:同じことが起きないように、仕組みや手順を直す
この5つは、求められる能力が違います。大量のログを読み、過去の変更と照らし合わせる作業は、情報量が多いほど人の負担が大きくなります。一方で「いまサービスを止めるか」「利用者にどう伝えるか」は、情報量の問題ではなく、事業としての判断です。
AIが力を発揮しやすいのは前者の、情報を集めて整理する部分です。後者は、結果に責任を持つ人が決める部分として残ります。この線引きが、本記事全体の軸になります。
AIが調べる部分:集める・絞る・まとめる
ログとエラーの読み込み
障害が起きると、ログ(システムが記録する動作の履歴)には大量の行が出ます。エラーメッセージが何百行も並ぶなかから、最初に起きた異常と、その結果として連鎖して出ているだけのエラーを見分けるのは、慣れた人でも時間がかかります。
AIはこの読み込みが得意です。たとえば、次のような作業を短時間で行えます。
- 大量のログから、同じ種類のエラーをまとめて件数を示す
- エラーが増え始めた時刻を特定し、その直前に何があったかを並べる
- スタックトレース(エラーが起きた箇所をたどる記録)から、関係するコードの場所を示す
人が最初の数十分で行っていた「状況を把握する作業」を、AIが下書きとして先に作ってくれるイメージです。
変更履歴との突き合わせ
障害の原因は、直前の変更にあることが少なくありません。公開した機能、設定の変更、外部サービスの仕様変更などです。AIに変更履歴とログを渡すと、「この時刻のこの変更と、エラーの増え始めが重なっている」という手がかりを示してもらえます。
リリースの流れそのものをAIと人でどう分けるかは、AI CI/CD 自動デプロイ|AIと人の確認の分け方でも扱っています。変更が記録として残っているほど、AIが調べられる範囲も広がります。
一次報告と手順書の下書き
障害の最中は、社内への共有や状況の整理に手が回りません。AIは、時系列のメモ、影響範囲の暫定的な整理、対応記録の下書きを作ることができます。復旧後の振り返り(ポストモーテム)の文章も、調べた内容を材料に、下書きまでなら任せやすい部分です。
注意したい点:もっともらしい誤りが混ざる
AIの調査結果は、いつも正しいとは限りません。ログに書かれていない事情を、それらしい説明で補ってしまうことがあります。原因の説明が筋道立っていても、それが事実かどうかは別の話です。
この性質は、生成AIのハルシネーションが開発に混ざるとき|見つけ方と防ぎ方で扱っている内容とつながっています。障害対応では、AIの出した原因を「仮説」として受け取り、ログや画面で裏づけを取ってから採用する、という運びにしておくと安全です。
人が判断する部分:決める・伝える・責任を持つ
影響の大きさと優先順位
「この障害はいますぐ対応すべきか、翌朝でよいか」は、技術だけでは決まりません。誰がどれだけ困るのか、事業にとってその時間帯は重要か、といった情報が必要です。AIはエラーの件数を示せても、その件数が事業にとって何を意味するかまでは、事業の文脈を持つ人が決めます。
復旧手段の選択
復旧には複数の道があります。直前のバージョンに戻す、問題の機能だけを止める、データを修正する、などです。それぞれに副作用があります。
- 前のバージョンに戻すと、直前に登録されたデータとの整合が取れなくなる場合がある
- 機能を止めれば、その機能を使っている利用者の業務が止まる
- データを直接修正する操作は、元に戻せないことがある
AIはこれらの選択肢と、考えられる副作用を並べることまではできます。しかし、どれを選ぶかは、結果を引き受ける人が決める部分です。特に、本番のデータに触れる操作は、人が内容を確認し、承認してから行う運用が基本になります。
利用者や取引先への連絡
障害の事実、影響の範囲、見通しを、どの言葉で誰に伝えるか。これは信頼に直結します。AIが文面の案を出すことはできますが、まだ分かっていないことを分かったように書かないか、約束してよい範囲はどこまでか、といった判断は人が行います。
再発防止の優先順位づけ
障害のあとには、直したい点が複数見つかります。すべてを一度に直すことはできないので、事業の状況に合わせて優先順位を決めます。新機能の開発を遅らせてでも先に直すのか、次の機会に回すのか。これも、事業の判断として人が決めることです。
監視の設計:何を見て、AIにどこまで触らせるか
監視の対象を3つに分けて考える
運用監視は、「何を見るか」を決めるところから始まります。新規事業のシステムでは、次の3つに分けておくと整理しやすくなります。
- システムの状態:サーバーの負荷、エラーの発生率、応答の速さなど
- 機能の動作:登録、決済、通知など、事業にとって重要な流れが最後まで通っているか
- 事業の数字:登録数や利用回数が、突然ゼロや極端な値になっていないか
システムが「動いている」ように見えても、重要な流れが途中で止まっていることがあります。事業の数字を監視に含めておくと、技術的なエラーとして表に出ない異常にも気づきやすくなります。
アラートは少なく、意味のあるものに
通知の数が多すぎると、担当者が通知を読まなくなり、本当に重要な通知が埋もれます。いわゆる「アラート疲れ」です。AIは、似た通知のまとめ、重複の整理、通知の優先度の提案といった面で役立ちます。ただし、「どの異常なら夜中でも呼び出すか」という基準は、事業への影響を踏まえて人が決めます。
AIには「読み取り」から始めてもらう
AIに障害の調査を任せるときは、触れる範囲を先に決めておくことが重要です。調査では、ログや監視の画面を読む権限があれば足ります。設定の変更やデータの書き換えといった権限まで、最初から渡す必要はありません。
AIエージェントにどこまでの権限を渡すかは、AIエージェントの権限を開発でどう決める?本番とデータの線引きで詳しく扱っています。「調べる権限」と「変更する権限」を分け、本番への変更は人の承認を挟む。この形にしておくと、AIが想定外の操作をしたときの影響を小さくできます。
新規事業のシステムで、公開直後に気をつけたいこと
利用者が少ない時期ほど、異常に気づきにくい
公開直後は利用者が少ないため、問い合わせが来るまで障害に気づけないことがあります。大きなサービスでは、利用者の多さが異常の「検知装置」になりますが、小さな事業ではそうなりません。だからこそ、重要な流れ(登録、申し込み、支払いなど)が通っているかを、システム側で確かめる仕組みを入れておく意味があります。
外部サービスと生成AIの機能は、変化に備える
新規事業のシステムは、決済、メール配信、地図、生成AIなど、外部のサービスを組み合わせて作られることが多くあります。外部サービスの障害や仕様変更は、自社のシステムをいくら調べても原因が見つかりません。外部の状態も監視に含め、障害が起きたときに「自社の問題か外部の問題か」を早く切り分けられるようにしておくと、対応が楽になります。
生成AIを機能として組み込んでいる場合は、さらに次の点も見ておきます。
- 応答が遅い、またはエラーが増えていないか
- 利用量が想定を超えて増えていないか(LLM API利用料の見積もり方|上限を先に決める考え方)
- 使っているモデルの提供条件が変わっていないか(LLMモデル変更に備える開発の進め方|提供終了の前に)
手順書を最小限でも用意する
障害対応の手順が担当者の頭の中にしかない状態は、避けたいところです。大きな手順書でなくてかまいません。次の項目を、1枚にまとめておくだけでも対応が変わります。
- 誰に最初に連絡するか
- 監視の画面とログはどこで見られるか
- 直前の状態に戻す方法は何か
- 利用者に伝える内容は誰が決めるか
この手順書の下書きや、障害のたびの更新は、AIが手伝いやすい作業です。内容の確認は人が行います。
外注するときに確かめたい、運用まわりの点
システム開発を外部に依頼する場合、公開後の障害対応をどこまで誰が担うのかは、契約前に確かめておきたい点です。「納品したあとは別の話」となっていると、障害が起きたときに誰も動けない状況になりかねません。
確認しておきたい項目は、次のとおりです。
- 障害の連絡窓口と対応の流れ:どこに連絡し、どの範囲まで対応してもらえるのか。対応範囲は、システム開発の保守契約|納品後の対応範囲の確認点も参考になります
- 監視とログの閲覧:監視の画面やログを、発注側が確認できるか。そもそも、ログが十分に残る設計になっているか
- サーバーなどの名義:緊急時に発注側が状況を確認し、必要な操作を行えるか(システム開発のサーバー名義は誰にする?外注前の決め方)
- コードと設計の引き継ぎ:開発した担当者以外でも、原因を調べて直せる状態か(AI生成コードの保守は可能か|引き継ぎと改修の確認点)
- AIを調査に使う場合の範囲:AIがどの情報を読み、どの操作を行えるのか。本番データへの変更に、人の承認があるか
これらを事前に聞いておくと、「公開後も安心して使い続けられる体制かどうか」を、納品前に判断しやすくなります。
まとめ
公開後の障害対応では、AIが力を発揮するのは「調べて整理する部分」です。ログの読み込み、変更履歴との突き合わせ、通知の整理、報告や手順書の下書きなどが、これに当たります。一方で、影響の大きさの判断、復旧手段の選択、利用者への連絡、再発防止の優先順位は、結果に責任を持つ人が決める部分として残ります。
運用監視を設計するときのポイントは、次のとおりです。
- 監視は、システムの状態、機能の動作、事業の数字の3つに分けて考える
- アラートは数を絞り、夜中でも呼び出す基準を人が決める
- AIには、まず読み取りの権限から渡し、本番への変更には人の承認を挟む
- 外部サービスや生成AIの機能も、監視の対象に含める
- 外注する場合は、連絡窓口、ログの閲覧、サーバーの名義、引き継ぎの状態を契約前に確かめる
私たちJustFitは、株式会社LEGAREAが運営する受託開発サービスです。動くプロトタイプを先に作り、納品後もシステムの維持や不具合修正、毎月ひとつの機能追加まで伴走する形をとっています。AIを使った開発でも、何を作るかを決めることと、品質の最終判断は人の役割だと考えています。公開後の運用や監視の進め方について迷う場合は、JustFitのサービス紹介もあわせてご覧ください。