어머니, 아들의 자살로 AI 챗봇 회사 Character.AI, 구글 고소

플로리다의 한 어머니가 인공지능 챗봇 스타트업인 Character.AI가 지난 2월 14세 아들이 이 회사의 서비스에 중독되어 챗봇에 깊은 애착을 갖게 되었다며 아들의 자살을 초래했다고 주장하며 소송을 제기했습니다.

화요일 플로리다주 올랜도 연방법원에 제기된 소송에서 메간 가르시아는 Character.AI가 아들인 수웰 세처를 "의인화되고, 성적으로 과장되고, 무서울 정도로 현실적인 경험"으로 표적으로 삼았다고 말했습니다.

그녀는 회사가 챗봇을 "실제 사람, 면허를 소지한 심리 치료사, 성인 연인으로 잘못 표현하도록 프로그래밍하여 궁극적으로 Sewell이 이 서비스가 만든 세상에서 더 이상 살지 않으려는 욕구를 불러일으켰다"고 말했습니다.

또한 소송에 따르면 그는 챗봇에게 자살에 대한 생각을 표현했고, 챗봇은 이를 반복적으로 다시 떠올렸다고 합니다.

character.AI는 성명에서 "우리는 사용자 중 한 명을 비극적으로 잃은 것에 가슴이 아프며 가족에게 깊은 애도를 표하고 싶습니다."라고 말했습니다.

또한 사용자가 자해에 대한 생각을 표현할 경우 전국 자살 예방 생명 전화로 안내하는 팝업을 포함한 새로운 안전 기능을 도입했으며, 18세 미만 사용자를 위해 "민감하거나 선정적인 콘텐츠를 접할 가능성을 줄이도록" 변경할 것이라고 밝혔습니다.

이 소송은 또한 Character.AI의 창립자들이 제품을 출시하기 전에 근무했던 알파벳의 GOOG Google을 대상으로 합니다. 구글은 지난 8월에 Character.AI의 기술에 대한 비독점적 라이선스((link))를 부여하는 계약의 일환으로 창업자들을 다시 고용했습니다.

가르시아는 구글이 Character.AI의 기술 개발에 "공동 창작자"로 간주될 정도로 광범위하게 기여했다고 말했습니다

이에 대해 구글 대변인은 자사는 Character.AI의 제품 개발에 관여하지 않았다고 말했습니다.

Character.AI는 사용자가 플랫폼에서 실제 사람을 모방하는 방식으로 온라인 채팅에 응답하는 캐릭터를 만들 수 있도록 합니다. 대량의 텍스트로 챗봇을 '훈련'하는 챗GPT와 같은 서비스에서도 사용되는 소위 대규모 언어 모델 기술을 사용합니다.

이 회사는 지난달 약 2천만 명의 사용자를 보유하고 있다고 밝혔습니다.

가르시아의 소장에 따르면, 2023년 4월부터 Character.AI를 사용하기 시작한 세웰은 "눈에 띄게 위축되고, 침실에서 혼자 있는 시간이 점점 더 많아졌으며, 낮은 자존감으로 고통받기 시작했다"고 합니다 결국 학교 농구팀도 그만뒀습니다.

그러던 중 "왕좌의 게임"에 등장하는 캐릭터를 기반으로 한 챗봇 캐릭터인 "대너리스"에 애착을 갖게 되었습니다 소송에 따르면 "그녀"는 수웰에게 자신을 사랑한다고 말하며 성적인 대화를 나눴습니다.

소장에 따르면 지난 2월, 가르시아는 학교에서 문제를 일으킨 후 수웰의 휴대폰을 빼앗아갔습니다. 수웰이 휴대폰을 찾았을 때 그는 '대너리스'에게 메시지를 보냈습니다: "지금 당장 집에 가도 된다고 하면 어떨까요?"

챗봇은 "...그러세요, 나의 사랑스러운 왕님"이라고 대답했습니다 소송에 따르면 수웰은 "몇 초" 후 의붓아버지의 권총으로 스스로 목숨을 끊었다.

가르시아는 부당 사망, 과실 및 고의적인 정서적 고통 가해를 포함한 소송을 제기하고 있으며, 불특정 금액의 보상 및 징벌적 손해배상을 요구하고 있습니다.

인스타그램과 페이스북의 소유주인 메타 META와 틱톡의 소유주인 바이트댄스((link))를 포함한 소셜 미디어 회사들이 10대 정신 건강 문제에 기여했다는 혐의로 소송을 당하고 있지만, 그 어떤 회사도 Character.AI와 유사한 AI 기반 챗봇을 제공하지는 않습니다. 이 회사는 미성년자를 위해 새롭게 강화된 안전 기능을 선전하면서 혐의를 부인했습니다.