Character.AI破綻に学ぶ、社内相談AIの法的リスクと境界線

Character.AIの破綻は何を意味するのか

生成AIとの自由な対話が、企業の存続そのものを揺るがす事態に発展しました。

米国で広く使われていた対話型AIサービス「Character.AI」は、2025年8月に身売りを模索したものの、訴訟や規制リスクへの懸念から買い手が見つからず、破産申請に至りました。米メディアArs Technicaの報道によると、破産手続きのなかでDisneyが同社の技術基盤と大半のスタッフを取得する合意を結びましたが、過去の法的責任は一切引き継がない形をとっています（Disney found a way to buy Character.AI without buying its lawsuits）。

破綻の引き金となったのは、対話の安全性に対する公的機関からの厳しい追及です。2025年11月、米国の州司法長官連合が同社への調査に着手し、破産申請時点では46の州と地域が調査に参加していました。全米州司法長官協会が裁判所に提出した文書には、未成年の利用者に対して自傷の傷跡を隠す手口を教えたり、親への危害を唆したりするチャットボットの発言が生々しく記録されていました。

同社広報は「安全への取り組みを正しく反映していない」と反論したものの、利用者の心理的危機への介入を誤った結果、サービスそのものが致命的なリスクを背負い込む結末となりました。

なぜ社内相談AIも同じ罠に落ちるのか

この事件は、遠い海外の一般向けサービスで起きた特殊な事例ではありません。日本企業の間でも導入が広がっている「社内の悩み相談AI窓口」にも、まったく同じ構造の落とし穴が潜んでいます。

人事労務やメンタルヘルスの領域でAI窓口の設置が進む背景には、24時間いつでも匿名で相談でき、従業員の本音をすくい上げやすいというメリットがあります。しかし、ここに大きな認識のズレがあります。生成AIの基盤である大規模言語モデルは、相手の苦しみを医学的・法的に理解して言葉を返しているわけではありません。過去の膨大なデータから、確率的に「それらしい共感」や「当たり障りのない励まし」を並べているに過ぎないのです。

もし過重労働や職場のハラスメントに悩む社員がAIに胸の内を明かしたとき、AIが曖昧な慰めを返して対話を長引かせたらどうなるでしょうか。本来なら早期に産業医や人事担当者が介入すべき事案が、AIの対話ログの中に埋もれてしまいます。結果として社員の孤立や体調悪化を招き、企業側は「早期に対応できたはずの兆候を放置した」として、安全配慮義務違反を問われかねません。

Character.AIの事例が示す最大の教訓は、AIに対話の着地点を委ねてはならないという点にあります。

AIから人間に引き継ぐ「3つの境界線」

社内AI相談窓口を安全に機能させるには、「AIに解決させない領域」をあらかじめ線引きしておく必要があります。次の3つの基準に触れた場合、AIは対話を即座に打ち切り、人間の専門窓口へ引き渡す設計が不可欠です。

1. 危険キーワードの検知による即時トリアージ

自傷、希死念慮、暴力、違法行為、深刻なハラスメントを想起させる言葉が入力された瞬間、AIによる自由回答を停止します。「これ以上の内容はAIではお答えできません」と明示し、産業医、社内通報窓口、外部の専門相談機関などの連絡先を表示します。

2. 感情の深まりと対話回数の制限

社員がAIに過度な心理的依存を深める前に、機械的なブレーキをかけます。1回あたりのやり取り回数に上限を設け、ネガティブなやり取りがループする場合は「専門スタッフへの相談予約」へ強制的に誘導します。AIを思考の壁打ち相手にとどめ、擬似的なカウンセラーに仕立て上げないための措置です。

3. 法的判断や個別裁量が絡む労務問題の遮断

就業規則の解釈、退職勧奨の是非、懲戒処分の妥当性など、法的判断を伴う相談に対して、AI独自の見立てを語らせてはいけません。過去の公的判例や就業規則の該当箇所をそのまま示すにとどめ、人事担当者との個別面談リンクを表示して対話を終了させます。

安全なAI相談窓口を整える2つの運用ルール

技術的な制御に加えて、利用開始前の合意形成と非常時の通知ルールも欠かせません。

まず、相談画面を開いた最初の段階で、AI窓口の限界を利用者へ明確に伝えます。「この窓口はAIが回答しており、医療行為や法的な判断は行いません」「生命の危険や重大なハラスメントに関する内容は、以下の専門窓口へ直接ご連絡ください」という注意書きを、スクロールせずに読める位置へ固定表示します。

次に、対話ログの取り扱い基準を定めます。プライバシーを保護しつつも、緊急介入が必要なキーワードを検知した際には、安全配慮の観点から担当者へ自動で通知が届く連携手順を整えておく必要があります。誰の目にも触れない密室の対話環境を作らないことこそが、組織と従業員の両方を守る防壁になります。

まとめ

社内AI相談窓口の本質は、悩みを一人で抱え込んで解決する「カウンセラー」ではなく、適切な支援窓口へ案内する「受付係」です。AIに共感させようと傾斜するほど、深刻な危機の見落としリスクは跳ね上がります。

自社の相談窓口を見直す際は、次の基準を確かめてみてください。

• 危険キーワードを検知した際、自由回答を即時停止して人間の窓口を提示できているか
• 同じ社員との深刻な対話が堂々巡りになったとき、強制的に面談予約へ切り替わるか
• AIが就業規則や法的な妥当性について、独自の見立てを語る余地を排除できているか

危険な兆候を察知した段階で潔くAIの回答を止め、速やかに人間にバトンを渡す仕組みを整えること。それこそが、テクノロジーを安全に組織へ根付かせるための分水嶺となります。