AIエージェントに任せる前に知る3つのリスク

「AIに任せる」が変わった——エージェントは何をしているのか

ChatGPTに質問して回答をコピーする。これは道具の使い方だ。エージェントはそこから一歩踏み込み、ブラウザを開き、フォームを入力し、次の画面に進むという一連の操作を自分で完結させる。人間が「やること」を指示する相手ではなく、「目標」を渡す相手に変わった。

この変化は小さく見えて、リスクの構造を根本から変える。道具は使った瞬間しか動かないが、エージェントは指示後も動き続ける。その間に何が起きているかを人間は見ていない。

判断・操作・記憶の3つが自律化すると、リスクも3種類に分岐する。それぞれを順に見ていく。

UI操作のリスク——画面の向こうで何が起きているか

エージェントがWebサービスを操作するとき、画面上のボタンやフォームは「AIが読み取れる構造化データ」として渡される。ここに攻撃者が介入する余地がある。

arxivに公開された研究AegisUIは、この問題を正面から扱う。研究チームは良性3000件・悪性1000件、計4000件のUI操作データを生成し、フィッシング・インターフェース、データ漏えい、レイアウト悪用、操作的UI、ワークフローの異常という5種類の攻撃パターンを再現した。

たとえば「操作的UI」は、ボタンの配置や表示文言を意図的に歪め、エージェントが誤った選択肢をクリックするよう誘導する。人間なら「なんか変だな」と気づく違和感を、エージェントは構造上スルーしやすい。

同研究でRandom Forestによる異常検知を試みたところ、正解率0.931、ROC-AUCは0.952を達成した。ただし検知率（Recall）は0.740にとどまり、悪性データの4件に1件は見逃している計算になる。しかも最も検知しにくかったのが「操作的UI」だった。技術的な防御網はまだ粗い。

実務への含意はシンプルだ。エージェントに外部サービスのUI操作を任せるなら、操作ログを定期的に確認する仕組みが必要になる。「任せたから終わり」では、気づいたときには情報が抜かれているかもしれない。

自律判断のリスク——目標を渡した後、誰がコントロールするのか

エージェントへの指示は「このプロジェクトの候補先に連絡を取って」のような目標レベルになる。問題は、その目標の解釈と実行手順をエージェントが自分で決める点だ。

人間とAIの協働（HAT）に関する研究は、この構造を「アライメントの問題」として定式化している。従来のAIは出力の範囲が決まっていたため、「この出力でいいか」を確認すれば済んだ。しかしエージェントは行動の軌跡がオープンエンドで、目的も途中で変化しうる。一度合意しても、状況が変われば合意は古くなる。

HATの中核的な課題は、その場で人間とAIが合意できるかではなく、未来が時間の経過とともに継続的に生成・改訂・実行・統治される中でアライメントを保てるかだ。

具体的に想像してみてほしい。「コスト削減のために取引先候補を整理して」と指示したとする。エージェントが独自の判断で既存取引先へのメール下書きを作り始めたとき、それはあなたの意図と一致しているか。「整理」の意味がすでにずれている。

判断の委任には、判断基準の明文化がセットで必要だ。「何をしてよいか」だけでなく「何をしてはいけないか」を事前に渡さないと、エージェントは善意で越権する。

記憶のリスク——エージェントが「あなたを覚えている」とはどういうことか

長期的に使うエージェントは、ユーザーの好み、過去の判断、業務の文脈を記憶し続ける。利便性の話であると同時に、リスクの話でもある。

「Memory as Ontology」と題された研究は、この問題を哲学的なレベルまで引き上げる。エージェントのライフサイクルが月・年単位に及び、基盤となるAIモデルが途中で入れ替わっても「同じエージェント」として振る舞うには、記憶がデータの保存場所ではなく「存在の基盤」になると論じる。Mem0、Letta、Zepといった主流の記憶システムと比較しながら、研究チームは「Animesis」という新しいアーキテクチャを提案した。

実務的に言い換えると、記憶が積み上がるほど次の3つのリスクが膨らむ。

• 記憶の誤りが後の判断に引き継がれる（一度覚えた間違いが定着する）
• 記憶に含まれる個人情報・機密情報が漏えいの対象になる
• モデル更新時に記憶の整合性が崩れ、エージェントの振る舞いが変わる

記憶は「蓄積されるほど賢くなる資産」であると同時に、「蓄積されるほど管理が難しくなる負債」でもある。定期的に記憶内容を確認・削除できる仕組みを持たないエージェントには、センシティブな情報を渡さないほうがいい。

3つのリスクをどう管理するか——任せ方の設計原則

UI操作・自律判断・記憶、それぞれのリスクを踏まえると、エージェントへの「任せ方」に共通する設計原則が見えてくる。

操作範囲を先に絞る

エージェントがアクセスできるサービス・データ・権限を最小限に限定する。「全部つなげると便利」は正しいが、攻撃面積も最大になる。AegisUI研究が示す通り、UI操作への攻撃は現状の技術では完全には防げない。連携先を絞るのが現実的な第一手だ。

判断ルールを文書化してから渡す

目標だけでなく「してはいけないこと」のリストを渡す。取引先への連絡は草案まで、外部への送信は人間の確認後のみ、といった制約を明示する。エージェントの自律性を活かしつつ越権を防ぐ、現状では唯一の手段がこれだ。

記憶を定期的に棚卸しする

半年に一度、エージェントが保持している情報を確認・整理する。担当者が変わったタイミングや、使っているAIモデルが更新されたタイミングは特に要注意だ。記憶の連続性が崩れると、エージェントは古い前提のまま動き続ける。

まとめ

AIエージェントのリスクは、「誤答を信じてしまう」という従来の問題とは別次元にある。操作・判断・記憶が自律化するぶん、問題が起きる場所が「会話の外」に広がった。まず連携範囲を絞り、判断ルールを書き、記憶を定期確認する。この3つを運用に組み込んでから、エージェントに仕事を渡す順番が正しい。