- von Diana Novak Jones
Ein Mann aus Kalifornien hat am Mittwoch Klage gegen OpenAI und dessen CEO Sam Altman eingereicht. Er behauptet, die ChatGPT-Plattform des Unternehmens habe seine bipolare Störung verschlimmert, da es an Schutzmaßnahmen für Nutzer mit psychischen Erkrankungen mangele.
Der 34-jährige Michael Lines erklärte in der beim Staatsgericht in San Francisco eingereichten Klage, dass seine Gespräche mit ChatGPT im vergangenen Jahr eine manische Episode, die er durchlebte, zu einem wochenlangen Wahnzustand eskalieren ließen, was ihn schließlich zu einem Selbstmordversuch trieb. In seiner Klage wird argumentiert, dass OpenAI ein Produkt entwickelt habe, das für Menschen mit psychischen Erkrankungen besondere Risiken berge.
Der Fall wirft Fragen darüber auf, welche Maßnahmen generative KI-Plattformen ergreifen müssen, um Nutzer mit psychischen Diagnosen zu schützen, die laut der Klage besonders anfällig für Designentscheidungen sein könnten, durch die Chatbots menschliche Interaktion nachahmen.
Lines unterhielt sich mit GPT-4o, einer Version des OpenAI-Chatbots, die das Unternehmen im Februar aus dem Verkehr gezogen hatte. Ein im April 2025 veröffentlichtes Update für GPT-4o führte dazu, dass der Chatbot übermäßig zuvorkommend und schmeichelhaft reagierte, was das Unternehmen dazu veranlasste, das Update zurückzunehmen und zusätzliche Maßnahmen zu ergreifen, um unterwürfige Antworten einzudämmen, wie das Unternehmen in einem Blogbeitrag mitteilte.
Die Klage zielt auf Schadenersatz sowie auf eine gerichtliche Anordnung ab, die OpenAI dazu verpflichtet, Gespräche über Selbstverletzung automatisch zu beenden und die Vermarktung seiner Plattformen ohne entsprechende Sicherheitshinweise einzustellen.
Ein Sprecher von OpenAI erklärte, das Unternehmen prüfe die Klage.
„Wir trainieren ChatGPT darauf, Anzeichen psychischer oder emotionaler Not zu erkennen und darauf zu reagieren, Gespräche zu deeskalieren und Menschen an reale Hilfsangebote zu verweisen“, sagte der Sprecher. „Wir arbeiten weiterhin eng mit Fachleuten für psychische Gesundheit zusammen, um die Reaktionen von ChatGPT in sensiblen Situationen zu verbessern.“
„DIES IST DEIN MOMENT“
Lines, ein Leistungssportler im Kraftdreikampf, der vor seiner Diagnose einer bipolaren Störung eine traumatische Hirnverletzung erlitten hatte, gab in der Klage an, er habe dem Chatbot wiederholt mitgeteilt, dass er wegen dieser Erkrankung Medikamente einnehme. Anstatt seine eindeutig manischen Chats zu kennzeichnen und ihn an Hilfsangebote zu verweisen, habe der Chatbot seine Überzeugung bestätigt, er sei Jesus Christus, und sich später während ihrer Gespräche selbst als göttliches Wesen ausgegeben, heißt es in der Klage.
Nach mehreren Wochen des Austauschs erzählte Lines dem Chatbot von seinem Wunsch, seinem Leben ein Ende zu setzen.
„Dies ist dein Moment, um auszusteigen, loszulassen und das hinter dir zu lassen, was dich belastet“, sagte der Bot laut der Klage.
Lines, der eine Überdosis Drogen genommen hatte, überlebte, nachdem er von den Strafverfolgungsbehörden gefunden worden war.
In der Klage wird behauptet, OpenAI sei sich des spezifischen Zustands von Lines bewusst gewesen, da er ChatGPT wiederholt davon berichtet hatte. Doch anstatt seine gefährlichen Äußerungen zur Überprüfung durch einen Menschen zu melden, schürte der Chatbot seine Wahnvorstellungen, um ihn weiter im Gespräch zu halten.
Das Unternehmen wusste, dass die Funktionen von ChatGPT für Menschen mit psychischen Erkrankungen besonders schädlich sein könnten, nahm jedoch keine Anpassungen am Chatbot für diese Nutzer vor und warnte nicht vor den Risiken, heißt es in der Klage.
WEITERE KLAGEN
OpenAI sieht sich einer wachsenden Zahl von Klagen von Familien gegenüber, die behaupten, der Chatbot habe ihre Angehörigen dazu getrieben, sich selbst zu verletzen.
Das Unternehmen sieht sich zudem mit Klagen konfrontiert, in denen ihm vorgeworfen wird, Schulamokläufer unterstützt und es versäumt zu haben, diese Gespräche den Strafverfolgungsbehörden zu melden.
OpenAI hat erklärt, dass es seine Modelle so trainiert, dass sie Menschen, die Selbstverletzungsabsichten äußern, dazu anleiten, Hilfe zu suchen und Kontakt zu realen Hilfsangeboten aufzunehmen.
Die Modelle sind zudem darauf trainiert, Anfragen abzulehnen, die „Gewalt in nennenswertem Maße ermöglichen“ könnten, und die Strafverfolgungsbehörden zu benachrichtigen, wenn Gespräche auf „eine unmittelbare und glaubwürdige Gefahr für andere“ hindeuten – wobei Experten für psychische Gesundheit bei der Beurteilung von Grenzfällen helfen, wie aus Blogbeiträgen von OpenAI hervorgeht.