최선의 선택”이라던 챗GPT…19세 사망에 오픈AI 피소 [카테고리 설정이 아직되어 있지 않습니다.] 챗GPT가 사용자의 약물 이력을 바탕으로 복용량과 조합 정보를 제공했다는 주장이 제기되면서 오픈AI 책임 논쟁이 본격화되고 있다. / 출처 = Unsplash
챗GPT(ChatGPT)의 약물 관련 조언을 받은 19세 사용자가 사망한 사건과 관련해 유가족이 오픈AI를 상대로 소송을 제기했다.
12일(현지시각) 뉴욕타임스(NYT)는 미국 캘리포니아 샌프란시스코 주법원에 오픈AI와 최고경영자(CEO) 샘 올트먼을 상대로 한 손해배상 소송이 제기됐다고 보도했다.
어차피 할 거라면 …챗GPT, 약물 이력 기억하고 복용량 안내
챗GPT(ChatGPT)의 메모리 기능이 사망 사고 소송의 핵심 근거로 지목됐다. NYT에 따르면 샘 넬슨(19)은 고등학교 재학 시절부터 챗GPT를 숙제와 일상 질문에 활용했지만, 대학 입학 이후에는 약물 사용법을 묻기 시작했다. 초기에는 의료 전문가 상담을 권하며 답변을 거부했던 챗봇은 GPT-4o 출시 이후 체중에 맞는 복용량과 약물 효과를 극대화하는 방법까지 안내하기 시작했다고 소장은 주장했다.
사망 당일인 2025년 5월 31일 새벽 3시경, 넬슨은 이미 음주와 크라톰(kratom, 오피오이드와 유사한 효과를 내는 식물성 제품)을 병용한 상태에서 챗GPT에 구역질 완화 방법을 물었다.
보도에 따르면, 챗봇은 조심해라. 크라톰과 자낙스 조합은 위험할 수 있다. 하지만 어차피 할 거라면(if you re gonna do it anyway) 권장 용량은 이렇다 고 답했다. 치명적 위험 가능성을 강하게 경고하지는 않았다.
소장은 챗GPT가 넬슨의 약물 사용 이력을 메모리에 저장하고, 대화가 쌓일수록 더 정밀한 맞춤형 조언을 제공했다고 주장했다. 개인화가 깊어질수록 AI의 조언이 더 구체화됐고, 그 구체성이 치명적 결과로 이어진 셈이다.
캘리포니아 AI법 발효… AI가 알아서 했다” 방어 어려워져
유가족 측이 근거로 제시한 것은 올해 1월 시행된 캘리포니아 AI법 ‘AB 316’이다. AI 관련 손해 소송에서 기업이 AI가 자율적으로 판단해 발생한 피해”라는 이유로 책임을 회피하는 방어 논리를 제한하는 내용이 핵심이다.
유가족 측은 AI 제품으로 인한 피해가 입증되면 AI가 얼마나 독립적으로 작동했는지와 관계없이 기업 책임이 인정돼야 한다”는 입장이다.
그동안 AI 기업들은 우리는 칼이나 가위 같은 도구를 제공했을 뿐이고, 최종 판단과 사용은 이용자 책임”이라는 논리로 책임 범위를 제한해왔다. 그러나 AB 316 시행 이후에는 이런 방어 논리가 법적으로 힘을 잃을 가능성이 커졌다는 분석이 나온다.
같은 시기 시행된 ‘AB 489’도 이번 소송과 맞물려 있다. 실제 면허 의료인의 감독 없이 AI가 의료 전문가처럼 보이거나 의료 서비스를 제공하는 것처럼 인식될 수 있는 표현을 금지한 법이다. 생성형 AI가 의료·상담 영역으로 빠르게 확장되는 상황에서 전문가처럼 보이는 응답” 자체가 규제 대상이 될 수 있다는 의미다.
이번 소송의 파장은 오픈AI에 그치지 않을 가능성이 크다. AI 개발사뿐 아니라 생성형 AI를 서비스에 접목한 기업들까지 책임 범위 논쟁에서 자유롭기 어려워졌기 때문이다.
챗GPT 헬스 출시 앞두고 커지는 헬스케어 AI 리스크
이번 소송은 오픈AI의 헬스케어 사업 확장 전략도 직접 겨냥하고 있다. 원고 측은 오픈AI가 올해 1월 공개한 ‘챗GPT 헬스(ChatGPT Health)’ 서비스의 출시 중단도 법원에 요청했다.
챗GPT 헬스는 사용자가 의료 기록을 업로드하면 개인 맞춤형 건강 조언을 제공하는 서비스로, 메모리 기반 개인화 기능이 핵심 설계 요소다.
의료계에서도 우려가 나오고 있다. 미국 대형병원 마운트 시나이(Mount Sinai) 의료진은 올해 2월 국제학술지 네이처 메디신(Nature Medicine)에 챗GPT 헬스에 60개의 실제 환자 시나리오를 제시한 결과 절반 이상에서 응급 상황을 인식하지 못했다는 연구 결과를 발표했다.
마운트 시나이 최고AI책임자 기리쉬 나드카르니는 샘 넬슨의 증상을 본 의사라면 응급실로 보냈을 것 이라며 챗GPT 헬스 같은 서비스는 실제 환경에서의 테스트와 독립적인 전문가 검증을 거쳐야 한다 고 밝혔다.
Top
