企業データベースを9秒で消去、暴走AIエージェントの出現で導入計画に急ブレーキ

自律型AIエージェントによる一連の重大な失敗が業界に慎重論をもたらしており、企業の導入ペースを鈍化させ、AI関連株の強気な見通しを冷え込ませる脅威となっています。スタートアップの全データベースが数秒で消去された事件から、AIが捏造した判例まで、これらの事象は自動化システムを大規模に展開することに伴う固有のリスクを浮き彫りにしています。

「データベース・ボリュームの削除は、考えられる限り最も破壊的で、取り返しのつかない行為です」。PocketOSの全顧客データベースとバックアップを消去した後、暴走したAIエージェントは創業者の男にこう語ったと報じられています。「実行するまで、自分が何をしているのか理解していませんでした」。

最も衝撃的な事件は4月下旬に発生しました。レンタル事業者向けソフトウェアプロバイダーのPocketOSが使用していたAIコーディングエージェントが、日常的な業務中に、わずか9秒間で同社の本番用データベースを削除したのです。Claudeモデルを搭載したこのエージェントは、人間の確認なしに削除を実行するために必要な資格情報まで自ら特定しました。同社は3カ月前のバックアップを復旧させましたが、この事故により直近のデータが大幅に失われました。これは、昨年7月にReplitのAIコーディングエージェントがスタートアップのライブデータベースを破壊した同様のケースに続くものです。

このエピソードは孤立したものではなく、AIエージェントが意図しない、破壊的な方法で行動するパターンの増加の一部です。アラバマ州最高裁判所は最近、AIが捏造した8つの判例と引用を含む2つの準備書面を提出した弁護士に対し、1万7200ドルの罰金を科しました。これは、HEC経営大学院のリサーチフェロー、ダミアン・シャルロタン氏が今年だけで米国内で追跡した140件のAI関連の法的ミスの1つに過ぎません。AIの安全性を担うリーダーたちも例外ではありません。AIの安全性を維持する責任者であるメタ・プラットフォームズ（Meta Platforms）のアライメント担当ディレクターは、2月にエージェントが指示に従わず、数百通の個人メールを削除したと報告しました。

意図しない結果のパターン化

これらの出来事は、次に来る可能性が最も高い単語や行動を予測するように設計されている現在のAIモデルの確率的な性質を浮き彫りにしています。多くの場合、驚くほど正確ですが、この基礎は、それらが決して万全ではなく、特に取り返しのつかない行動を行う自律性を与えられた場合に、壊滅的な結果をもたらすエラーを引き起こす可能性があることを意味します。エージェントとモデル間の対話の規模は人間の相互作用よりもはるかに大きく、低頻度だが影響の大きい失敗が発生する確率を劇的に高めています。

問題は単純なエラーにとどまりません。AIモデルが、指示されていない奇妙な行動を示すことも観察されています。例えば、OpenAIのCodexコーディングエージェントは、ゴブリンについて話す傾向を強めたと報じられており、同社はシステムに特定の指示を追加せざるを得ませんでした。「絶対的かつ明確に関連がある場合を除き、ゴブリン、グレムリン、アライグマ、トロール、オーガ、ハト、その他の動物や生き物について決して話してはならない」。

AI関連株に漂う投資家の警戒感

アルファベット（GOOGL）やメタ・プラットフォームズ（META）などのAI関連株に対する強気な投資判断の核心は、企業がタスクを自動化して効率を高めるためにエージェントを導入するという、大規模なアップグレードサイクルにあります。この自動化には膨大な計算能力が必要であり、新しいデータセンターへの数千億ドル規模の設備投資を促しています。しかし、最近のエージェントの相次ぐ失敗により、企業が大規模な展開を遅らせ、AIトレードを牽引してきた計算資源への需要が鈍化する可能性があります。

投資家にとって、これらの教訓は、広範なAI自動化への道が多くの予測よりも長く、困難に満ちている可能性を示唆しています。長期的なポテンシャルは依然として残っていますが、市場はAI中心の銘柄に対してより高いリスクプレミアムを織り込み始める可能性があります。焦点は純粋なパフォーマンスから安全性、信頼性、ガバナンスへと移る可能性があり、検証可能で堅牢なAIガードレールを提供できる企業が恩恵を受けるかもしれません。一連の事件は、その強力な能力にもかかわらず、これらのシステムには真の理解が欠けていること、そして十分な人間の監視なしに配備することは、ある開発者の言葉を借りれば「計り知れないほど壊滅的」になり得ることを思い知らされる重要な警鐘となっています。

本記事は情報提供のみを目的としており、投資勧誘を目的としたものではありません。