1. JustFit
  2. ブログ
  3. AI障害対応と運用監視|AIが調べる部分と人が判断する部分

AI障害対応と運用監視|AIが調べる部分と人が判断する部分

JustFit編集部(運営:株式会社LEGAREA)

システムを公開したあとの障害対応や運用監視に、AIをどう使えばよいのか。この記事では、AIが調べる部分と人が判断する部分を、障害対応の流れに沿って整理します。あわせて、新規事業のシステムで監視を設計するときの考え方と、外注するときに確かめたい点もまとめました。

公開後の障害対応は、5つの作業でできている

障害対応というと、夜中に呼び出されて原因を探し、直す作業を思い浮かべがちです。ただ実際には、いくつかの作業が順につながっています。AIにどこまで任せるかを考えるには、まずこの作業を分けて見ておくと整理しやすくなります。

  1. 検知:異常が起きたことに気づく。監視の仕組みが通知を出す、利用者から問い合わせが来る、など
  2. 切り分け:どこで何が起きているのかを絞り込む。アプリなのか、データベースなのか、外部サービスなのか
  3. 復旧:まず利用者への影響を止める。直前の状態に戻す、一時的に機能を止める、など
  4. 原因究明:なぜ起きたのかを調べる
  5. 再発防止:同じことが起きないように、仕組みや手順を直す

この5つは、求められる能力が違います。大量のログを読み、過去の変更と照らし合わせる作業は、情報量が多いほど人の負担が大きくなります。一方で「いまサービスを止めるか」「利用者にどう伝えるか」は、情報量の問題ではなく、事業としての判断です。

AIが力を発揮しやすいのは前者の、情報を集めて整理する部分です。後者は、結果に責任を持つ人が決める部分として残ります。この線引きが、本記事全体の軸になります。

AIが調べる部分:集める・絞る・まとめる

ログとエラーの読み込み

障害が起きると、ログ(システムが記録する動作の履歴)には大量の行が出ます。エラーメッセージが何百行も並ぶなかから、最初に起きた異常と、その結果として連鎖して出ているだけのエラーを見分けるのは、慣れた人でも時間がかかります。

AIはこの読み込みが得意です。たとえば、次のような作業を短時間で行えます。

  • 大量のログから、同じ種類のエラーをまとめて件数を示す
  • エラーが増え始めた時刻を特定し、その直前に何があったかを並べる
  • スタックトレース(エラーが起きた箇所をたどる記録)から、関係するコードの場所を示す

人が最初の数十分で行っていた「状況を把握する作業」を、AIが下書きとして先に作ってくれるイメージです。

変更履歴との突き合わせ

障害の原因は、直前の変更にあることが少なくありません。公開した機能、設定の変更、外部サービスの仕様変更などです。AIに変更履歴とログを渡すと、「この時刻のこの変更と、エラーの増え始めが重なっている」という手がかりを示してもらえます。

リリースの流れそのものをAIと人でどう分けるかは、AI CI/CD 自動デプロイ|AIと人の確認の分け方でも扱っています。変更が記録として残っているほど、AIが調べられる範囲も広がります。

一次報告と手順書の下書き

障害の最中は、社内への共有や状況の整理に手が回りません。AIは、時系列のメモ、影響範囲の暫定的な整理、対応記録の下書きを作ることができます。復旧後の振り返り(ポストモーテム)の文章も、調べた内容を材料に、下書きまでなら任せやすい部分です。

注意したい点:もっともらしい誤りが混ざる

AIの調査結果は、いつも正しいとは限りません。ログに書かれていない事情を、それらしい説明で補ってしまうことがあります。原因の説明が筋道立っていても、それが事実かどうかは別の話です。

この性質は、生成AIのハルシネーションが開発に混ざるとき|見つけ方と防ぎ方で扱っている内容とつながっています。障害対応では、AIの出した原因を「仮説」として受け取り、ログや画面で裏づけを取ってから採用する、という運びにしておくと安全です。

人が判断する部分:決める・伝える・責任を持つ

影響の大きさと優先順位

「この障害はいますぐ対応すべきか、翌朝でよいか」は、技術だけでは決まりません。誰がどれだけ困るのか、事業にとってその時間帯は重要か、といった情報が必要です。AIはエラーの件数を示せても、その件数が事業にとって何を意味するかまでは、事業の文脈を持つ人が決めます。

復旧手段の選択

復旧には複数の道があります。直前のバージョンに戻す、問題の機能だけを止める、データを修正する、などです。それぞれに副作用があります。

  • 前のバージョンに戻すと、直前に登録されたデータとの整合が取れなくなる場合がある
  • 機能を止めれば、その機能を使っている利用者の業務が止まる
  • データを直接修正する操作は、元に戻せないことがある

AIはこれらの選択肢と、考えられる副作用を並べることまではできます。しかし、どれを選ぶかは、結果を引き受ける人が決める部分です。特に、本番のデータに触れる操作は、人が内容を確認し、承認してから行う運用が基本になります。

利用者や取引先への連絡

障害の事実、影響の範囲、見通しを、どの言葉で誰に伝えるか。これは信頼に直結します。AIが文面の案を出すことはできますが、まだ分かっていないことを分かったように書かないか、約束してよい範囲はどこまでか、といった判断は人が行います。

再発防止の優先順位づけ

障害のあとには、直したい点が複数見つかります。すべてを一度に直すことはできないので、事業の状況に合わせて優先順位を決めます。新機能の開発を遅らせてでも先に直すのか、次の機会に回すのか。これも、事業の判断として人が決めることです。

監視の設計:何を見て、AIにどこまで触らせるか

監視の対象を3つに分けて考える

運用監視は、「何を見るか」を決めるところから始まります。新規事業のシステムでは、次の3つに分けておくと整理しやすくなります。

  • システムの状態:サーバーの負荷、エラーの発生率、応答の速さなど
  • 機能の動作:登録、決済、通知など、事業にとって重要な流れが最後まで通っているか
  • 事業の数字:登録数や利用回数が、突然ゼロや極端な値になっていないか

システムが「動いている」ように見えても、重要な流れが途中で止まっていることがあります。事業の数字を監視に含めておくと、技術的なエラーとして表に出ない異常にも気づきやすくなります。

アラートは少なく、意味のあるものに

通知の数が多すぎると、担当者が通知を読まなくなり、本当に重要な通知が埋もれます。いわゆる「アラート疲れ」です。AIは、似た通知のまとめ、重複の整理、通知の優先度の提案といった面で役立ちます。ただし、「どの異常なら夜中でも呼び出すか」という基準は、事業への影響を踏まえて人が決めます。

AIには「読み取り」から始めてもらう

AIに障害の調査を任せるときは、触れる範囲を先に決めておくことが重要です。調査では、ログや監視の画面を読む権限があれば足ります。設定の変更やデータの書き換えといった権限まで、最初から渡す必要はありません。

AIエージェントにどこまでの権限を渡すかは、AIエージェントの権限を開発でどう決める?本番とデータの線引きで詳しく扱っています。「調べる権限」と「変更する権限」を分け、本番への変更は人の承認を挟む。この形にしておくと、AIが想定外の操作をしたときの影響を小さくできます。

新規事業のシステムで、公開直後に気をつけたいこと

利用者が少ない時期ほど、異常に気づきにくい

公開直後は利用者が少ないため、問い合わせが来るまで障害に気づけないことがあります。大きなサービスでは、利用者の多さが異常の「検知装置」になりますが、小さな事業ではそうなりません。だからこそ、重要な流れ(登録、申し込み、支払いなど)が通っているかを、システム側で確かめる仕組みを入れておく意味があります。

外部サービスと生成AIの機能は、変化に備える

新規事業のシステムは、決済、メール配信、地図、生成AIなど、外部のサービスを組み合わせて作られることが多くあります。外部サービスの障害や仕様変更は、自社のシステムをいくら調べても原因が見つかりません。外部の状態も監視に含め、障害が起きたときに「自社の問題か外部の問題か」を早く切り分けられるようにしておくと、対応が楽になります。

生成AIを機能として組み込んでいる場合は、さらに次の点も見ておきます。

手順書を最小限でも用意する

障害対応の手順が担当者の頭の中にしかない状態は、避けたいところです。大きな手順書でなくてかまいません。次の項目を、1枚にまとめておくだけでも対応が変わります。

  • 誰に最初に連絡するか
  • 監視の画面とログはどこで見られるか
  • 直前の状態に戻す方法は何か
  • 利用者に伝える内容は誰が決めるか

この手順書の下書きや、障害のたびの更新は、AIが手伝いやすい作業です。内容の確認は人が行います。

外注するときに確かめたい、運用まわりの点

システム開発を外部に依頼する場合、公開後の障害対応をどこまで誰が担うのかは、契約前に確かめておきたい点です。「納品したあとは別の話」となっていると、障害が起きたときに誰も動けない状況になりかねません。

確認しておきたい項目は、次のとおりです。

これらを事前に聞いておくと、「公開後も安心して使い続けられる体制かどうか」を、納品前に判断しやすくなります。

まとめ

公開後の障害対応では、AIが力を発揮するのは「調べて整理する部分」です。ログの読み込み、変更履歴との突き合わせ、通知の整理、報告や手順書の下書きなどが、これに当たります。一方で、影響の大きさの判断、復旧手段の選択、利用者への連絡、再発防止の優先順位は、結果に責任を持つ人が決める部分として残ります。

運用監視を設計するときのポイントは、次のとおりです。

  • 監視は、システムの状態、機能の動作、事業の数字の3つに分けて考える
  • アラートは数を絞り、夜中でも呼び出す基準を人が決める
  • AIには、まず読み取りの権限から渡し、本番への変更には人の承認を挟む
  • 外部サービスや生成AIの機能も、監視の対象に含める
  • 外注する場合は、連絡窓口、ログの閲覧、サーバーの名義、引き継ぎの状態を契約前に確かめる

私たちJustFitは、株式会社LEGAREAが運営する受託開発サービスです。動くプロトタイプを先に作り、納品後もシステムの維持や不具合修正、毎月ひとつの機能追加まで伴走する形をとっています。AIを使った開発でも、何を作るかを決めることと、品質の最終判断は人の役割だと考えています。公開後の運用や監視の進め方について迷う場合は、JustFitのサービス紹介もあわせてご覧ください。

← ブログ一覧へ