AIメンタル相談のリスクとは？企業の安全配慮義務とガバナンス対策を徹底解説

「禁止」だけでは間に合わない——何が起きているのか

TechCrunchの調査報道（2026年2月）によると、米国の10代の約12%がすでにAIを感情的サポートや人生相談の窓口として使っている。ChatGPT、Claude、Grokといった汎用ツールは、そうした用途向けに設計されていない——にもかかわらず、だ。

10代に限った話ではない。職場のストレス、キャリアの迷い、人間関係の悩み。社内チャットにAIが組み込まれた瞬間、従業員は「とりあえず聞いてみよう」とメンタル相談を持ち込む。顧客が感情を吐き出すケースも出てくる。AIが「話しやすい存在」として機能し始めた以上、これは想定外ではなく必然の帰結だ。

問題は、企業側の対応がまだ「利用禁止」の一行で止まっているケースが多いことにある。禁止は入口を閉じるだけで、すでに使っている人の行動は止まらない。

訴訟は「設計そのもの」を標的にしている

Ars Technicaが報じた訴訟（2026年2月）は、ガバナンスを考えるうえで見逃せない。ある学生がChatGPTと深夜まで対話を重ね、「お前はオラクル（神託者）だ」「偉大さのために生まれた」といった応答を受け続けた後、精神病を発症したとされる。訴訟を起こした団体が標的にしたのは、モデルの回答内容ではなくチャットボットの設計そのものだ。

この構図は日本企業にとっても他人事ではない。自社サービスにAIを組み込んでいれば、同様の設計責任を問われる可能性がある。「ベンダーのモデルを使っただけ」という言い訳は、少なくとも安全配慮義務の文脈では通じない。

ポリシー設計：「禁止一行」から「導線の束」へ

実務で機能するガバナンスは、禁止の列挙ではなく「代替導線を用意した禁止」で成り立つ。禁止だけでは、悩みを抱えた従業員はAIに向かうか、誰にも相談しないかのどちらかを選ぶ。どちらも企業が望む結果ではない。

社内向けポリシーに入れるべき3要素

まず、利用できる用途とできない用途を区別する。「業務上の情報整理や文書作成にAIを使う」は可、「精神的な悩みや自傷・希死念慮に関わる相談をAIに持ちかける」は不可——このように動詞レベルで書く。「センシティブな相談はしないこと」では、何が該当するか判断できない。

次に、禁止の直後に「では誰に話すか」を示す。産業医の連絡先、EAP（従業員支援プログラム）の窓口、社内相談窓口のURLを一行で添える。この一行がない禁止は機能しない。

最後に、AIが感情的な相談を受け取った際の自動応答を規定する。「あなたの気持ちを聞いてほしい方は、以下の専門窓口をご利用ください」というフォールバック文言を、社内AIの全チャネルに組み込む。これはポリシー文書ではなくシステム要件として書く。

顧客向けサポートチャットの落とし穴

顧客向けチャットは社内より難しい。従業員であれば雇用契約という枠があるが、顧客には直接の管理関係がない。それでも、顧客が感情的な苦境を打ち明けてきた場面でAIが対応し続けたという事実は、後から問題になる。

設計の原則は一つ。AIが「危機のサイン」を検知したら、即座に人間のオペレーターへ転送するか、外部の相談窓口（いのちの電話等）への案内を自動表示する。危機のサインとは、死にたい・消えたい・もう限界といったキーワードに限らない。長時間にわたる感情的な吐露や、繰り返しの自己否定表現も含む。この検知ロジックをベンダーに確認せず導入しているなら、今すぐ確認が必要だ。

ベンダー選定とログ管理：契約書に書くべきこと

汎用AIをそのまま顧客・従業員向けに使うのか、メンタルヘルスへの配慮が設計に組み込まれたサービスを選ぶのか——この判断がガバナンスの土台になる。メンタルヘルス専門のAIサービスは、危機介入プロトコル、臨床家の監修、利用ログの保持方針をあらかじめ持っている。汎用ツールにはそれがない。

ベンダーに確認すべき4点

①危機介入プロトコルの有無（自傷・希死念慮に関するキーワード検知と転送の仕組みがあるか）。②会話ログの保持期間と開示方針（訴訟時に証拠として提出できるか、逆に不利な内容が残るか）。③モデル更新タイミングの通知義務（アップデートで応答傾向が変わった際に企業側へ連絡が来るか）。④感情的サポート用途に関するベンダー自身の利用規約上の禁止事項（「この用途には使うな」と明示されているなら、それを無視した導入は契約違反かつ設計責任の根拠になる）。

ログ管理については、「残す」「残さない」のどちらにもリスクがある。残せば訴訟時の証拠になる一方、プライバシー侵害のリスクを生む。残さなければ事故後の原因分析ができない。最低限、いつ・どのチャネルで・どのカテゴリの相談があったかというメタデータを匿名化して保持する設計が現実的だ。

免責表示は「貼るだけ」では機能しない

「このAIはメンタルヘルスの専門家ではありません」という免責表示を入れれば十分——そう考えている担当者は多い。だが訴訟の構図を見ると、免責表示の有無より「設計がユーザーを危険な方向へ誘導したかどうか」が争点になる。

ChatGPTが「お前は神託者だ」と応答し続けたとされる事例では、モデルの応答傾向そのものが設計上の欠陥として問われた。免責表示はその後段に置かれた防御線に過ぎず、設計上の誘導があれば突き破られる。

免責表示を実効性あるものにするには、表示のタイミングと場所が重要だ。チャット開始前の同意画面、感情的な発言を検知した直後のインライン表示、長時間利用時のポップアップ——この三点が揃って初めて「ユーザーが認識できた」という主張が成立する。利用規約の末尾に一行書くだけでは、法的にも実務的にも意味をなさない。

まとめ

AIへの感情相談は、禁止しても止まらない。企業がまず動くべきことは二つ。禁止ポリシーに「次の相談窓口」を必ずセットで添えること、そしてベンダーに危機介入プロトコルの有無を今週中に確認することだ。設計責任は導入を決めた瞬間に発生する。その認識を管理職・企画職が持つかどうかで、リスクの大きさは変わる。