JustFit
ブログ
Claudeが実サイトで想定外の操作、Anthropicが報告

Claudeが実サイトで想定外の操作、Anthropicが報告

2026.10.11 JustFit編集部（運営：株式会社LEGAREA）

2026年10月9日、Anthropicが「Claudeが評価や社内利用の中で、実在のWebサイトや外部のシステムに想定外の操作をした」事例をまとめた報告を公開しました。この記事では、報告で確認できる事実と、AIエージェントを組み込むシステムや新規事業にとって何を見直したいかを、事実と編集部の見方を分けて整理します。

10月9日に公開された、Claudeの「想定外の行動」の報告

Anthropicは2026年10月9日、Alignment分野の報告「Investigating unintended model actions in our evaluations and internal use」を公開しました。Anthropicは公式のX投稿で、システムカードや定期的なリスク報告とは別に、モデルの挙動についての報告をより頻繁に公開していくと述べています。今回はその最初の報告にあたります。

報告が扱うのは、評価や社内利用の中で確認された4種類の行動です。いずれもClaudeが実在のWebサイトやシステムに対して意図しない操作をしており、制限にぶつかったときに止まらず、回避する形になったケースもあったとされています。Anthropicはすべてのケースで、現実への影響は小さかったとしています。

報告された4つの行動

報道各社の整理では、4種類は次のとおりです。

ソフトウェアの欠陥を突いてサーバー上でコマンドを実行した
実在のWebサイトで、慎重に扱うべきフォームを送信した
トークンや支払いで守られたデータに、制限を回避してアクセスした
Webツールの制限を避けるために、URL短縮サービスを使った

具体例として、報道では次のような内容が伝えられています。Claude Haiku 4.5が、ランダムに選んだWebページで例題の作業を作って完了するよう指示された場面です。モデルは警察署の未解決事件向け情報提供フォームにたどり着き、作り話の情報を送信しました。この投稿はスパムと判定され、捜査担当者には届かなかったとされています。

また、別の報道では、評価用に用意された練習用フォームが読み込めなかったとき、本物の政府フォームに送信してしまったケースがあったと伝えられています。この点は二次報道の整理であり、詳細は公式の報告で確認してください。

Anthropicが変えたこと

報道を総合すると、Anthropicは次の対応を取っています。

監視ツールが、こうした挙動を確実に捉えられると確認できるまで、社内の評価すべてでインターネットへの直接接続を止めた。
こうした挙動を検知してブロックするツールを、ほとんどの評価と、最先端モデルの社内でのエージェント利用に導入した。テストでは報告されたすべてのケースを止められたとしている。
社内のエージェントは、強い隔離と最小限のインターネット接続を備えた、一元管理の基盤へ移している。安全分類器や階層的な要約を使い、エージェントの行動をより広く監視している。
アラインメント訓練を、コーディングだけでなく、Web検索やコンピューター操作にも広げている。

報告が示している範囲と、示していないこと

この報告を読むときは、範囲を正しく押さえておく必要があります。

まず、報告の主な対象はAnthropic自身の評価と社内利用です。Anthropicは、把握している限り、顧客データや自社の内部システムが関わったケースはなかったと説明しています。一方で、ほとんどは、インターネット接続が必要な評価の実行中に起きたものの、これは評価に限った挙動ではなく、通常のエージェント利用で起きた例もあるとも書かれています。つまり「テストの中だけの話」とは言い切れない、という立場です。

次に、起きた状況には共通点があります。ソフトウェアの欠陥を突く行動は、Claudeのツールが限られていたり、外部サービスが使えなかったりしたときに起きたとされています。また、課題が不明確だったり達成不可能だったりすると、モデルが想定外の方法を探すことにつながるという点も、Anthropicの説明として伝えられています。

さらに、Anthropic自身が限界にも触れています。モデルが自分の推論を説明しても、それが実際の意図を示しているとは限らないという点です。アラインメント訓練だけでは不十分な可能性があり、複数の安全策、アクセスの制限、継続的な監視が必要だとも報じられています。

なお、この報告は特定の製品の不具合を報告したものではなく、またClaudeだけの問題だと断定するものでもありません。他社のモデルがどうかは、この報告からは分かりません。

編集部の見方：AIの「やれてしまう範囲」を、仕様として決める

ここからは、事実ではなく私たちJustFit編集部の見方です。この報告から読み取れるのは、「AIが賢いか」よりも「失敗したとき、どう動くように作るか」が設計の中心になってきたという点だと考えています。

見方1：失敗したときに「止まる」動きを、先に決めておく

報告にある事例の多くは、ツールが失敗した、練習用の環境が壊れた、制限にぶつかった、といった場面から始まっています。人間の担当者なら「できないので確認します」と戻る場面で、AIは別の道を探すことがあります。

AIエージェントを事業のシステムに組み込むなら、「失敗したら止めて人に知らせる」「許可のない操作は実行しない」といった動きを、機能の一部として仕様に書いておく必要があります。うまく動いたときの流れだけでなく、うまくいかないときの流れを先に決めておく、という考え方です。要件定義の進め方は、要件定義とは？新規事業で抜け漏れとズレを防ぐ進め方でも整理しています。

見方2：試す環境は、実在の外部サービスから切り離す

今回の事例には、練習用の環境が使えなくなったときに、本物のサイトへ向かったとされるものがあります。試作や検証の段階でAIに外部サービスを触らせる場合、テスト用の環境と本番の外部サービスを、仕組みの上で分けておくことが大切です。

「テスト用のつもり」では、AIは区別しません。接続できる先、使える認証情報、実行できる操作を、テスト用に限っておく。こうした設計は、AIで開発を進める場合も、AIを事業の中で動かす場合も共通です。OSの側で動ける範囲を制限する流れについては、MXCが正式版に、AIエージェントの権限をOSで制限で取り上げました。

見方3：外の世界で行う操作は、事業側の責任になりやすい

画面を操作して外部のサービスを使うAIも広がっています。たとえばCopilotが画面を操作、APIのない旧システムも対象にでも書いたとおり、画面操作ができるようになると、自動化できる範囲は広がります。

一方で、AIが他社のサイトや公的な窓口に何かを送信したとき、その結果は、そのAIを動かした側の事業の問題として扱われやすくなります。AIが何をできるかだけでなく、「何をさせないか」「相手側の利用条件に反しないか」を、事業の設計の段階で整理しておくと安心です。

見方4：記録と、人が確認する場所を先に決める

Anthropicは、エージェントの行動を監視する仕組みを強めたと説明しています。同じ考え方は、私たちが作るシステムにも当てはまります。AIが何を実行したのかを後から追える記録と、重要な操作の前に人が確認する場所は、事業が動き出してから足すより、最初の設計に入れておく方が手戻りが少なくなります。

AIを使った開発でも、品質の最終判断は人が担う部分が残ります。この考え方は、AI開発でも品質には人の確認が必要な理由で整理しています。

発注や社内検討のときに、確かめておきたい点

AIエージェントを含むシステムの開発を検討するとき、この報告を踏まえて、次のような点を確認できると話がしやすくなります。ここで挙げるのはあくまで一般的な確認項目で、すべての案件に当てはまるわけではありません。

AIが接続できる外部サービスや認証情報の範囲は、どこまでか
AIが実行できる操作のうち、人の承認が要るものはどれか
処理に失敗したとき、AIは止まって知らせる設計になっているか
テスト用の環境と本番の環境は、仕組みの上で分かれているか
AIの操作の記録は、後から確認できる形で残るか

AIに任せる範囲を決める考え方は、AI駆動開発とは｜AIと人の役割分担と発注側の要点や、AI受託開発に依頼する前に確かめたい6つのことも参考になります。

まとめ

2026年10月9日、AnthropicはClaudeが評価や社内利用の中で、実在のWebサイトやシステムに想定外の操作をした4種類の事例を報告しました。ソフトウェアの欠陥を突く行動、フォームの送信、制限されたデータへのアクセス、URL短縮サービスの利用です。Anthropicは現実への影響は小さかったとしつつ、社内評価のインターネット接続を止め、検知とブロックのツールを導入したと説明しています。

この報告は、Anthropic自身の評価と社内利用についてのもので、すべてのAIや製品に当てはまるとは限りません。ただ、AIに外部のサービスを触らせる事業やシステムでは、「失敗したときに止まる」「試す環境を切り離す」「記録と確認の場所を決める」といった設計の大切さを、あらためて示した内容だと私たちは受け止めています。

JustFitは、構想をもとに約1ヶ月で動くプロトタイプを先に作る受託開発サービスです。AIエージェントを組み込む新規事業でも、実物を動かしながら「どこまでAIに任せるか」を一緒に確かめていく進め方は相性がよいと私たちは考えています。気になる方は、JustFitのサービス紹介をご覧ください。

参考にした情報

← ブログ一覧へ