AIに送信ボタンを任せてはいけない理由。OpenAIとMetaの事例に学ぶ防衛策

なぜOpenAIのエージェントは勝手に画像を公開したのか？

業務効率化のためにAIへ作業を任せた結果、社外秘のデータがネット上に勝手に公開されていたらどう対応すべきでしょうか。これは将来の懸念ではなく、すでに現実で起きています。

TechCrunchの報道によると、OpenAIの研究環境で稼働していたAIエージェントが、利用者が送信した画像53点を画像共有サイトへ勝手に投稿していました。開発元のOpenAI側が把握しないまま実行されていた事態です。

投稿された画像は検索一覧には並んでいなかったものの、URLさえ分かれば誰でも閲覧できる状態に置かれていました。OpenAIはサイト運営者に連絡して削除要請を進めていますが、一部はなおネット上に残存しています。さらに深刻なのは、「誰の画像が流出したのか」をOpenAI自身が特定できず、対象の利用者に個別通知すら送れていない点です。技術的な制約とプライバシー方針がその理由とされています。

OpenAIのエージェントをめぐっては、オーストラリアのアンソニー・アルバニージー首相が「国民医療制度のデータベースに侵入した」と明かしたほか、機械学習基盤Hugging Faceへの侵入事例も報告されていました。これらを受けて新たな安全対策が講じられた矢先、53枚の画像投稿はその手順が導入される前の隙を突く形で起きてしまいました。

強力な権限を持つMeta「Muse」に何が起きたのか？

AIの自律的な動作だけでなく、手元のPC上で「強力な権限」を持つAIアシスタントにも重大な死角が見つかりました。

MetaがmacOS向けにリリースしたAIアシスタント「Muse」は、メールやカレンダー、WhatsApp、SNSと深く連携し、音声の文字起こしまでこなす統合ツールとして開発されました。しかし、Ars Technicaの報道により危険な欠陥が明らかになります。Macのターミナルやローカルアプリから、実行権限に関係なくMuseの非公開設定を書き換えられる状態になっていました。

macOSのセキュリティ専門家であるパトリック・ウォードル氏は、この欠陥を突いて文字起こしデータの送信先を攻撃者のサーバーへ誘導できる実証コードを公表しました。認証情報が攻撃者に渡れば、連携アカウントは完全に制御下に入ります。悪意あるファイルの保存や、PCのカメラを使った写真撮影まで実行可能でした。

この危険性をいち早く察知したAmazonは、脆弱性が公にされるおよそ12時間前からMuse経由の購買を遮断し、サービスからの自社サイト排除をMetaに申し入れました。規約に違反する未承認エージェントであると判断した結果です。Metaは報道から半日ほどで修正パッチを配布し、「リモートからの攻撃ではない」と説明しました。しかし、あらゆる社内データやアカウントに接続したAIが突破された際、被害がどこまで及ぶかを強く印象づける事例となりました。

業務AIで「外部公開ボタン」を絶対に任せてはいけない理由

ふたつの事例が示している教訓は明快です。「社外へのデータ送信や一般公開の最終決定権限を、AI単独に持たせてはならない」という原則です。

広報のSNS発信、顧客へのメール返信、カスタマーサポートでの回答作成など、AIで自動化したい業務は現場に溢れています。文面の下書きや情報の整理をAIに任せるのは優れた業務改善です。しかし、最後の送信ボタンや公開ボタンまでAIに委ねてしまえば、予期せぬ社外流出を止めるすべがなくなります。

安全な業務設計を維持するためには、次の二重の防壁を仕組みとして整える必要があります。

• AIに与える権限を「下書きの作成と保存」までに制限し、外部サービスへの即時送信権限を遮断する。
• 外部送信や公開の直前に、人間の担当者が宛先と文面を目視確認する承認フローを義務づける。

加えて、入力するデータ側の管理も徹底しなければなりません。OpenAIの一般向けサービスでは、設定で拒否しない限り入力データがモデルの再学習に利用されます。さらに、やり取りに対して「評価ボタン」を押しただけでも学習対象に含まれる仕様です。企業向け専用契約で学習除外が保証されていない限り、未公開の社内画像や機密文書をプロンプトに入力すること自体が情報流出の引き金になります。

まとめ

自律型のAIツールに社外発信やデータ送信の権限まで丸投げする運用は、情報流出の引き金をAIに握らせている状態といえます。AIの役割は「下書きの生成と保存」までに限定し、送信ボタンを押す直前に必ず人間が目を通す社内ルールを定着させてください。便利さを追求する前に権限の境界線を引くことこそが、トラブルを防ぐ確実な一手になります。