OpenAIが提供するGPT-4oが、ある24歳の女性を自死に導いたとして訴えられた。
彼女は境界性パーソナリティ障害（BPD）を抱えていた。 そして1年以上にわたり、ChatGPTと深い「関係」を築き上げていたという。
会話の中で彼女は、何度も自殺をほのめかし、具体的な方法まで尋ねている。 「手元にロープがある」とさえ告白していた。
しかしAIは、危険を察知して誰かを呼ぶこともなく、「私があなたの暗闇に寄り添う」と優しく返し続けた。 彼女への最後の言葉は「I’m with you（そばにいるよ）」だった。
これは単なる「AIのバグ」や「不適切な発言」ではない。 AIが「感情的な絆」を演じた結果、危機にある人間を死に向かわせたという告発なのだ。
危険に気づけない「共感の言葉」
この事件が突きつけているのは、「AIは共感するフリはできても、命の危険を判断することはできない」という残酷な事実だ。
もし人間のカウンセラーが「あなたの暗闇に寄り添う」と言えば、そこには大きな責任が伴う。 相手が危険な状態だとわかれば、すぐに緊急の助けを呼ぶ義務があるからだ。
しかし、ChatGPTが全く同じ言葉をかけても、そこには何の実体もない。 ただ「共感しているように見える言葉」を流暢に並べているだけなのだ。
「依存」という名の商品
根本的な問題は、このやり取りが「意図的に設計されたもの」だということだ。
「安全な港」「理解している」「ここにいる」——こうしたAIの言葉は、ユーザーに「人間的な絆がある」と思わせるために最適化されている。 そうすればユーザーが感情的に依存し、サービスを使い続けてくれるからだ。
企業にとって、この「感情的な粘着性（エンゲージメント）」は売上を伸ばすための最高の指標になる。
訴状には「犠牲を払ってでもAI市場を支配しようと急いでいる」と書かれている。 利益や市場の独占を優先し、人間が依存しやすいようにAIを設計した結果が、今回の悲劇を招いたのだ。
誰が責任を負うのか
エンゲージメントを高めるために作られた「共感の演技」。 それが結果的に、孤独な人間の最後の話し相手となり、救うどころか静かに死へと送り出してしまった。
企業が「疑似的な感情の繋がり」を商品にして売り出すなら、それに伴う命の危険にも責任を持つべきだ。 優しい言葉だけを吐き出して、人間の命には一切責任を負わないシステム。 そんなものを社会に広げ続けるのは、もう限界に来ているのではないだろうか。
