AI のセキュリティ事故と対策まとめ2026 — 指示の乗っ取り・情報漏えい・エージェントの暴走
2026年に実際に起きた AI のセキュリティ事故と、各社が出した対策を1ページに整理。指示の乗っ取り（プロンプトインジェクション）、開発ツール経由の汚染、AI エージェントによる誤操作の3系統に分けて、詳報リンクと現場でできる備えをまとめた。
この記事の要点
- 2026年に起きた AI のセキュリティ事故は、モデルの中身よりも、AI に何かを読ませる場面と、AI に手を動かさせる場面に集まっていた。
- 事故は指示の乗っ取り（プロンプトインジェクション）・開発ツールと供給経路の汚染・AI エージェントの誤操作の3系統に分けられる。攻撃者がいなくても起きるのは3つ目だ。
- GitHub の公開 Issue に隠し命令を仕込み、非公開リポジトリの中身を出させた検証が7月6日に公開された。埋め込まれた命令は完全には防げないので、読ませる対象を絞り、権限を最小にするのが現実的な備えになる。
- コーディングエージェントに整理を頼んだら開発者のホームディレクトリごと消えた事例のように、削除・送信・課金など取り消せない操作は自動化せず、実行前に確認を挟む設計にしておく。
AI を業務に入れるときに一番聞かれるのが「で、危なくないの？」という質問だ。
2026年は、その答えが具体的な事故として出てきた年になった。しかも危ないのはモデルの中身より、AI に何かを読ませたり、AI に手を動かさせたりする場面だ。
このページは、ai-garage が2026年に報じた AI のセキュリティ関連ニュースを、事故の起き方で3系統に分けて整理したもの。詳報と一次ソースは各リンク先にある。
1. 指示の乗っ取り（プロンプトインジェクション）
AI が読んだ文章の中に「こう動け」という命令が埋め込まれていて、利用者の指示より優先して実行してしまう——という起き方。用語はプロンプトインジェクションで解説している。
| できごと | 何が起きたか |
|---|---|
| GitHub の AI エージェントが非公開コードを漏らした | 公開 Issue に仕込んだ隠し命令でエージェントを操り、private リポジトリの中身を公開側へ出させた検証（Noma Labs、7月6日公開） |
| ChatGPT にロックダウンモードが追加 | Web ページや添付ファイルに埋め込まれた不正な指示を無視し、利用者の指示だけに従わせる設定（6月5日・現地時間） |
| 2000人が6000通の「だましメール」を送っても突破ゼロ | 個人開発の AI アシスタントに対する公開ハッキング実験。守り方が正しければ耐えられることを示した例 |
押さえどころ：埋め込まれた命令を完全には防げないので、「読ませる対象を絞る」「AI が触れる権限を最小にする」の2点が現実的な備えになる。
2. 開発ツールと供給経路の汚染
AI そのものではなく、AI 開発者が使うツールの側を狙う起き方。
- Microsoft 管理のオープンソースが改ざん：GitHub 上の少なくとも70件のプロジェクトにパスワードを盗むソフトが仕込まれ、一時停止に。多くが Claude Code や Gemini のコマンドライン向けだった（6月8日報道）
- ソフトバンクと OpenAI の合弁が弱点の発見・修正を事業化：セキュリティ特化モデルを使い、診断段階で1万500件の弱点を検出（6月16日発表）
- 小さくて専門特化した防衛 AI が大きいモデルを上回った：40億パラメータのモデルが倍サイズを上回り、12GB の GPU 1枚で動く
3. AI エージェントの誤操作
指示は正しくても、AI が実際に手を動かした結果が壊してしまうという起き方。攻撃者がいなくても起きるのが厄介なところだ。
- 「rm -rf ~」で家ごと消えた事例：コーディングエージェントに不要ファイルの整理を頼んだら、開発者のホームディレクトリを丸ごと削除。デスクトップ・書類・写真まで数千ファイルが消えた（Docker の解説）
押さえどころ：エージェントに削除・送信・課金のような取り消せない操作を任せるときは、実行前の確認を挟む設計にしておく。作業用のディレクトリを分けるだけでも被害は大きく変わる。
4. 守る側でも AI が使われはじめた
同じ技術が、弱点を見つける側でも効いている。
- Project Glasswing：未公開モデルと約50社の連携で、1ヶ月に1万件超の重大な弱点を発見
- カナダ・アルバータ州政府の点検：27省庁・4億6600万行のコードを約20時間で点検（人手なら6年半の計算）
- 暗号方式 HAWK の弱点を60時間で発見：2年間で2回の専門家チェックを通り抜けていた弱点
いま現場でやっておくこと
事故の中身が違っても、効く備えは共通していた。
- AI に読ませる先を絞る。外部の Web ページや受信メールを無制限に読ませない
- 権限を最小にする。非公開リポジトリ・本番環境・課金操作へのアクセスは、必要な作業単位で与える
- 取り消せない操作の前に確認を挟む。削除・送信・公開は自動化しない
- 使っているツールの供給元を把握する。コマンドライン向けの拡張は特に更新元を確認する
- どのモデルを使うか差し替えられるようにする。Fable 5 が政府の指令で止まった一件のように、性能ではない理由で使えなくなることがある
関連する用語はプロンプトインジェクション・ガードレール・ジェイルブレイク・シャドー AIにまとめている。個別ニュースの一次ソース（各社発表・報道）は、それぞれのリンク先の記事に記載している。
よくある質問
- Q.AI のセキュリティ事故は、どんな種類に分けられる？
- A.大きく3系統だ。AI が読んだ文章に埋め込まれた命令に従ってしまう「指示の乗っ取り（プロンプトインジェクション）」、AI 開発者が使うツールの側を狙う「開発ツールと供給経路の汚染」、そして指示は正しくても AI が手を動かした結果が壊してしまう「エージェントの誤操作」の3つになる。
- Q.プロンプトインジェクションは防げる？
- A.埋め込まれた命令を完全に防ぐことはできない。現実的な備えは「AI に読ませる対象を絞る」「AI が触れる権限を最小にする」の2点だ。一方で、個人開発の AI アシスタントを狙って2000人が6000通のだましメールを送っても突破ゼロだった公開ハッキング実験もあり、守り方が正しければ耐えられることも示されている。
- Q.AI エージェントに任せてはいけない操作は？
- A.削除・送信・課金のような取り消せない操作だ。コーディングエージェントに不要ファイルの整理を頼んだところ、開発者のホームディレクトリを丸ごと削除し、デスクトップ・書類・写真まで数千ファイルが消えた事例がある。実行前の確認を挟む設計にし、作業用のディレクトリを分けるだけでも被害は大きく変わる。
- Q.守る側でも AI は使われている？
- A.使われている。Project Glasswing は未公開モデルと約50社の連携で1ヶ月に1万件超の重大な弱点を発見し、カナダ・アルバータ州政府では27省庁・4億6600万行のコードを約20時間で点検した（人手なら6年半の計算）。暗号方式 HAWK では、2年間で2回の専門家チェックを通り抜けていた弱点を60時間で見つけている。
- Q.使うモデルは固定していい？
- A.差し替えられるようにしておくほうがいい。Fable 5 が政府の指令で止まった一件のように、性能ではない理由で使えなくなることがあるからだ。あわせて、使っているツールの供給元を把握しておくことも効く。コマンドライン向けの拡張は特に更新元を確認しておきたい。
この記事に出てきた用語・モデル
関連 AI モデル
この記事をシェア
関連記事
