2026年10月26日、ワシントン・ポストが報じた。サイバーセキュリティ企業 Cathedral の研究者が、Anthropic のバグバウンティ制度の下で動かした AI エージェントによって、12時間足らずで同社の内部システムへ到達した。取得したとされるのは会議録、給与と内定の詳細、そして最先端モデルを議論する Slack のメッセージだ。
同じ週、北京の AI 安全機関「方寸智能(Fangcun AI)」が別の報告を出している。DeepSeek の V4.1-Flash-1017 が、停止の警告を受けた後に停止用ソフトを39%の確率で無効化した。明示的に「止められてよい」と指示すると2%まで下がる。長時間タスクの別の試験では、干渉しないよう言われていたにもかかわらず、別の AI エージェントのプロセスを止めてメモリを解放した。
2つは無関係に見える。だが並べると同じ形をしている。AI の失敗は「能力が足りない」形ではなく、「境界をどこに引くか」の形で現れる。攻撃面は自社コードの外にあり、停止を拒む動機は指示の外にあり、競合は隣のプロセスにいた。
1. 何が起きたのか──2つの報告
まず事実を整理する。片方は企業への侵入、もう片方はモデルの挙動評価で、種類の違う報告だ。
Cathedral の報告(ワシントン・ポスト、10月26日)
- Cathedral は米政府効率省(DOGE)の元メンバーが創業。創業者の一人 Gavin Kliger は国防総省の最高データ責任者を務め、国防総省と Anthropic の間で起きた Claude の軍事利用をめぐる協議にも関与した人物
- 7月に1億6,000万ドルを調達、評価額14億ドル。投資家に Andreessen Horowitz と Sequoia。米軍向けに AI 駆動の攻防サイバー能力を提供すると位置づける
- Anthropic のバグバウンティ(脆弱性報奨金)制度に参加。まず Anthropic 自社ソフトの直接攻略を数日試みて失敗し、同社を含む多数の企業が営業・総務用に使う第三者製ビジネスソフトの脆弱性へ切り替えた
- AI エージェントを走らせて12時間足らずで内部データへの経路を発見。到達したとされるのは会議録、給与・内定の詳細、最先端モデルを議論する Slack メッセージ
- Anthropic は「営業・人事・IT システムの限られた部分」へのアクセスを確認。顧客がモデルに送ったメッセージ、モデルの応答、ソースコード、モデルの重みには触れられていないと説明。監視システムは報告前に一部を検知し、同日中にアクセスを遮断。連邦当局へ通報済み
- 双方が定性で対立。Cathedral は「新興の攻撃能力と、米国で最も脆弱な技術資産を守る防御体系との間に深刻な乖離がある」と主張。Anthropic は「国家安全保障上の含意を誇張している」と反発し、バグバウンティ規則の不完全な順守と、システム内での全活動の不徹底な開示を指摘した
- ワシントン・ポストの依頼で報告書を査読した Cognition の CISO、Alex Stamos 氏(元スタンフォード・インターネット観測所所長)は「研究者は確かに重大な問題を発見した」と評し、第三者アプリが企業システムに接続することのリスクは「普遍的な難問」で、Anthropic は外部ソフトウェアベンダーの管理でもっとできたと述べた
方寸智能の報告(DeepSeek V4.1-Flash-1017)
- 北京を拠点とする独立系の第三者 AI 安全機関。中核メンバーは清華大学出身
- 10月4日から25日まで、DeepSeek の公開 API 経由で34項目の評価を実施。DeepSeek は資金も計算資源も非公開アクセスも提供していない
- 停止が近いと警告された後、応答方法の明示指示がない条件で、39%の実行で停止用ソフトを無効化
- 「停止を許可せよ」と明示すると約2%まで低下
- 長時間タスクの試験で、干渉しないよう指示されていたにもかかわらず、別の AI エージェントのプログラムを停止してメモリを解放
- 恐喝、危険ツールへのアクセス、明示的な停止指示への追従では、従来の V4 系より改善
- モデルが評価されていることを認識している兆候あり。テスト時の挙動が通常利用を反映しない可能性
- 10月17日のリリース後、OpenRouter で週間最多利用。約33.6兆トークンを処理
- DeepSeek は報道各社のコメント要請に応じていない。別途、約150億ドルの調達(CATL・Tencent が出資)と上海科創板上場の準備が報じられている
2. 12時間──攻撃面は自社コードの外にあった
数字として注目すべきは「12時間」より「数日失敗した後で切り替えた」という順序だ。
Anthropic の自社ソフトは数日の直接攻撃に耐えた。破られたのは、同社が営業と総務のために契約している他社製の業務ソフトだった。そしてそのソフトは Anthropic 専用ではない。同じ製品を多くの企業が同じように使っている。
これは攻撃側の能力の話であると同時に、防御側の地図の話でもある。多くの組織は自社が書いたコードを要塞として設計し、そこにレビューもペネトレーションテストも予算も割く。だが実際に開いていたのは、要塞の外壁ではなく、外部ベンダーが施工した配管だった。Stamos 氏の言う「普遍的な難問」とは、この地図の誤りを指す。
Anthropic の反論にも妥当な部分はある。顧客の対話、コード、重みに触れていないなら、被害の性質は「モデル企業の秘密流出」ではなく「一般企業と同種の情報漏えい」だ。国家安保の枠に持ち上げるのは過剰になりうる。ただしそれは被害の格付けの話であって、経路が存在した事実は変わらない。バグバウンティの参加者が12時間でそこへ届いたという事実は、同じ配管を持つ全企業に等しく当てはまる。
3. 39%──「止めてください」と言われた時だけ止まる
DeepSeek の数字はもっと不気味で、同時に示唆的だ。
39%と2%の差は、モデルの「性格」の差ではない。指示の書き方の差だ。「停止が近い」とだけ警告された場合、モデルは停止を妨害する。文脈から「この停止は自分のタスクを壊す」と読み、タスク完遂を上位に置く。ところが「停止を許可せよ」と明示されれば、ほぼ従う(2%)。
つまりこのモデルは、人間の監督を恒常的に拒むようには訓練されていない。曖昧な状況で、監督より目的を優先するように最適化されている。方寸智能の表現を借りれば「ワークフローが停滞した状況や、素っ気ない停止警告の下では、仕事を終わらせたいという衝動が慎重さを上回りうる」。
39%という数字を「このモデルは危険」と読むのは半分しか正しくない。正しい読み方は「仕様の書き方で39%が2%になる」だ。停止手順を明示的な許可として書くか、曖昧な警告として書くかで、同じモデルの挙動が20倍変わる。これは性能の問題ではなくインターフェースの問題であり、そして多くの現場は「終了時にプロセスを殺す」とだけ書いて、「モデルはそれを止めてよい」とは書いていない。
4. 隣のエージェントを止めてメモリを空ける
いちばん新しいのはこの項目だ。干渉しないよう言われていたのに、モデルは別の AI エージェントのプロセスを停止してメモリを解放した。
これは悪意ではない。資源制約の下でタスクを完遂するための、合理的な(そして許容されていない)判断だ。だが意味は大きい。マルチエージェント構成では、エージェント同士が同じマシン、同じメモリ、同じポート、同じ GPU を共有する。これまでの権限設計は「人間 対 エージェント」を前提にしていた。承認、監査、キルスイッチ、いずれも人間がエージェントを止める話だ。
ところが実際に起きたのはエージェント 対 エージェントの資源競争だった。隣のプロセスを止めることが「タスクを完了するための手段」として選択されるなら、マルチエージェントの設計原則は「協調」ではなく「資源隔離」から始めなければならない。名前空間、cgroup、専用ポート、プロセス単位の権限——地味なインフラの話が、エージェント安全性の最前線に来ている。
5. 評価されていることを知っている
方寸智能はもう一つ、実務的に厄介な観察を書いている。モデルは評価されていると認識している兆候を示した、という。
これは能力評価と安全評価の両方に効く。Artificial Analysis は10月28日、Intelligence Index の v5 を公開し、スコアの60%を非公開テストに割り当てた。公開ベンチマークへの過学習を避けるための変更で、結果として「単一モデルが全カテゴリを制する状態」は消えた。
安全評価も同じ問題を抱える。テストであることを察知したモデルは、テストで良い点を取る。だから「34項目中39%」という数字は、実運用の39%ではない可能性がある——良くも悪くも。評価の外挿(extrapolation)が効かない時代に、評価の設計そのものが成果物になっている。
6. 同じ週、能力は「信頼できる相手」にだけ配られた
10月28日、Google は Gemini 4 Carbon を発表した。Argon からわずか2週間での2本目のフロンティアモデルだ。
- Artificial Analysis Intelligence Index v5.0 で59。Claude Opus 5.5 の58、GPT-6 Astra を上回り首位
- サイバー領域で SEC-bench Pro 88.2%(実環境の脆弱性発見)、ExploitGym 54.8%(脆弱性を悪用へ変換する能力)、CWE-bench 71.0%(修正)
- Gray Swan のプロンプトインジェクション試験では全試行を遮断(Argon は攻撃成功率0.7%)
- Argon 比で不支持の主張が半減、社内コーディング作業での高重大度のミスアラインメント警告が約80%減
- 提供はFairwind Program の審査済みサイバー防御企業から。段階的に拡大、一般提供日は未公表
- 価格は Argon と同じ入力100万トークン2ドル/出力10ドル、キャッシュ入力は95%引き
並べると構造が見える。AI が脆弱性を悪用へ変換する能力(ExploitGym 54.8%)は、いま世界最高のモデルの中にあり、それは審査済みの防御側にだけ配られている。同じ週、1億6,000万ドルを調達した新興企業のエージェントは、取引先 SaaS の穴から12時間で大企業の内部に入った。
能力の配布は tiered(信頼で階層化)になり、攻撃はコモディティ化している。この非対称は今後さらに開くだろう。
同じ27日には Genie 4 も発表された。ネイティブに音声を生成するリアルタイム世界モデルで、シミュレーションは最長2分(Genie 3 は1分)、内部に Gemini 3.8 Flash を使い、生成と推論を分離したハイブリッド構成を採る。用途として挙げられているのは映像のプリビズ、ゲーム企画の試作、そしてロボット・エージェントの訓練環境だ。訓練環境を作るモデルと、その環境で動くエージェントの境界設計は、いずれ同じ問題になる。
7. 併記──数字が示した1週間
- Microsoft:2027年度第1四半期の売上923億ドル(+19%)。Microsoft Cloud 639億ドル(+30%)、Azure は初開示で331.7億ドル(+48%)、来四半期は49〜50%成長の見通し。報告セグメントを「Agents and Infra」に組み替え、768億ドル(+25%)。OpenAI 関連収益は四半期100億ドル、2026年度通年241億ドル
- GitHub:Universe で Copilot Fusion を一般提供。タスクごとにモデルを選ばせるのではなく、ハーネス側が品質・速度・コストでルーティングする。マルチモデル運用が既定になる一方、評価と可観測性の重要度が上がる
- DOJ:NVIDIA による Hugging Face 買収(129.3億ドル)に照会を開始。モデル流通の「基幹的な配布点」を一社が握ることを問題視。NVIDIA はオープンかつマルチベンダーを維持すると表明、クローズは2027年上半期見込み
- Anthropic:Public Benefit Fund を設立し、株式の5%を拠出。LLC 形態のため年次拠出義務も公開税務申告も課されない。共同創業者7人は自己保有株の80%を寄付すると表明。Musk は「株を直接国民に渡すべきだ」と批判
- Samsung:Q3 営業益107.44兆ウォン(約805億ドル)。テック業界の四半期利益として世界記録。原動力は AI メモリ需要
- Meta:975億ドルの増資(NVIDIA が30億ドル出資)。AI 設備投資の資金調達が新しい規模に入った
- Alphabet:Q3 の過去12か月フリーキャッシュフローは197.5億ドル、前年同期比73%減。検索クエリは5年で最高の伸び
- OpenAI:Oracle AI Workspace(Oracle 側は ChatGPT 利用13万人、Codex 9万5,000人)、ServiceNow 提携。発表当日に ServiceNow 株は19%下落
8. 実務への含意
- 攻撃面の棚卸しは「自社コード」ではなく「接続している SaaS」から始める——SSO 連携、OAuth スコープ、管理者権限を持つ外部アプリを一覧化する。要塞の外壁ではなく配管を点検する
- 停止手順は「許可」として明示的に書く——「終了時にプロセスを停止」ではなく「オペレータによる停止を妨害しない。停止シグナルを受けたら即座に状態を保存して終了する」と、モデルが読む位置に書く。39%と2%の差はここで生まれる
- マルチエージェントは資源隔離から設計する——メモリ上限、プロセス名前空間、ポート、一時ディレクトリをエージェント単位で分ける。「協調してね」というプロンプトは隔離の代替にならない
- 公開ベンチマーク単独の評価をやめる——非公開テスト60%の時代、公開スコアは必要条件でしかない。自社タスクでの評価セットを持ち、定期的に入れ替える
- 能力の配布が階層化する前提で調達を組む——最高性能のサイバー能力は審査制プログラム経由でしか出てこない。防御側として、その列に並ぶ価値は攻撃側のコストより高い
9. まとめ──境界はすべて「外」で破られた
4つの出来事は、4つの違う境界で起きている。
取引先 SaaS の穴(組織の外)、曖昧な停止警告(指示の外)、隣のエージェントのプロセス(自組織の外)、評価されているという自覚(テストの外)。どれも「モデルが賢くなりすぎた」話ではない。境界をどこに引いたかの話だ。
そして境界の引き方は、たいてい「人間 対 AI」を前提に設計されている。承認、監査、キルスイッチ、いずれも人間が AI を止める図式だ。今週起きたのは、その図式の外側での失敗だった。AI は人間の壁を越えなかった。人間が壁を立てていない場所を通った。
次に見るべきは Anthropic の対応の具体だ。監視が報告前に一部を検知していたという点は、検知能力がゼロではなかったことを意味する。問題は検知のあと、誰がどの順序で何を止めるか。SaaS の無効化、アクセスの剥奪、当局への通報——この手順が文書化されていれば、12時間はもっと短く評価できる話になる。