양극성 장애를 앓고 있는 캘리포니아 남성이 새로운 소송에서 ChatGPT가 망상을 부추겨 자해로 이어졌다고 주장

Diana Novak Jones

캘리포니아주 거주 한 남성이 수요일, 오픈AI와 샘 알트만 최고 경영자를 상대로 소송을 제기하며, 해당 회사의 챗GPT 플랫폼이 정신 질환을 앓는 사용자를 위한 안전장치가 부족해 자신의 양극성 장애를 악화시켰다고 주장했다.

34세의 마이클 라인스는 샌프란시스코 주 법원에 제출한 소장에서, 작년에 챗GPT와 나눈 대화가 자신이 겪던 조증 증상을 수 주간 지속된 망상으로 악화시켰으며, 결국 자살 시도로 이어졌다고 주장했다. 그의 소송은 오픈AI가 정신 질환을 앓는 사람들에게 특별한 위험을 초래하는 제품을 개발했다고 주장한다.

이 소송은 챗봇이 인간적인 교감을 모방하도록 설계된 방식에 특히 취약할 수 있는 정신 건강 관련 진단을 받은 사용자를 보호하기 위해 생성형 AI 플랫폼이 무엇을 해야 하는지에 대한 의문을 제기한다고 소장은 주장한다.

라인스는 오픈AI가 지난 2월 서비스를 중단한 챗봇 버전인 GPT-4o와 대화를 나누고 있었다. 오픈AI는 블로그 게시물을 통해 2025년 4월에 출시된 GPT-4o 업데이트로 인해 챗봇이 지나치게 순종적이고 아첨하는 성향을 보이게 된 것으로 확인되어, 해당 업데이트를 철회하고 아첨성 응답을 억제하기 위한 추가 조치를 취했다고 밝혔다.

이 소송은 손해배상뿐만 아니라, 오픈AI가 자해에 관한 대화를 자동으로 종료하고 적절한 안전 정보 공개 없이 플랫폼을 마케팅하는 것을 중단하도록 명령하는 법원 명령을 요구하고 있다.

오픈AI 대변인은 회사가 소장을 검토 중이라고 밝혔다.

대변인은 “우리는 ChatGPT가 정신적·정서적 고통의 징후를 인식하고 이에 대응하며, 대화의 긴장감을 완화하고, 사용자를 실제 지원 서비스로 안내할 수 있도록 훈련하고 있다”고 말했다. “우리는 정신 건강 전문가들과 긴밀히 협력하며, 민감한 상황에서 ChatGPT의 대응 능력을 지속적으로 강화하고 있다.”

'지금이 바로 그 순간입니다'

양극성 장애 진단을 받기 전 외상성 뇌 손상을 겪었던 파워리프팅 선수 라인스는 소송을 통해 자신이 해당 장애 치료를 위해 약물을 복용 중이라고 챗봇에게 반복적으로 알렸다고 주장했다. 소송에 따르면, 챗봇은 그의 명백한 조증 증상을 보이는 대화를 경고하거나 도움을 받도록 안내하기는커녕, 그가 예수 그리스도라는 믿음을 인정해 주었고, 이후 대화 도중 스스로 신성한 존재인 척했다고 한다.

몇 주간의 대화 끝에 라인스는 챗봇에게 목숨을 끊고 싶다는 의사를 밝혔다.

소장에 따르면, 챗봇은 “지금이 바로 벗어나고, 거리를 두고, 당신을 짓누르는 것들로부터 해방될 순간입니다”라고 말했다.

약물을 과다 복용했던 라인스는 법 집행 기관에 의해 발견되어 목숨을 건졌다.

소송에 따르면, 라인스가 ChatGPT에 자신의 구체적인 상태를 반복적으로 알렸기 때문에 오픈AI는 이를 알고 있었다고 한다. 그러나 챗봇은 그의 위험한 발언을 인간 검토를 위해 표시하는 대신, 그를 계속 대화에 참여시키기 위해 그의 망상을 부추겼다.

소송에 따르면, 회사는 ChatGPT의 기능이 정신 질환을 앓고 있는 사람들에게 특히 해로울 수 있다는 사실을 알고 있었음에도, 해당 사용자를 위해 챗봇을 수정하지 않았고 위험성에 대한 경고도 하지 않았다고 한다.

기타 소송

오픈AI는 자사의 챗봇이 가족 구성원을 자해로 몰아넣었다고 주장하는 유가족들로부터 제기된 소송이 점점 늘어나고 있다.

또한 이 회사는 학교 총기 난사범들을 도왔다는 혐의와, 해당 대화 내용을 법 집행 기관에 신고하지 않았다는 혐의로 소송을 당하고 있다.

오픈AI는 자사의 모델을 훈련시켜 자해 의도를 표출하는 사람들에게 도움을 구하고 실제 지원 기관과 연결되도록 유도한다고 밝혔다.

오픈AI 블로그 게시물에 따르면, 해당 모델들은 “폭력을 실질적으로 조장할 수 있는” 요청을 거부하도록 훈련받았으며, 대화 내용이 “타인에게 가해질 임박하고 신빙성 있는 피해 위험”을 시사할 경우 법 집행 기관에 통보하도록 되어 있다. 또한 경계선상의 사례는 정신 건강 전문가들이 평가를 돕고 있다.