캘리포니아에서 Google Gemini를 상대로 한 소송에서는 챗봇이 13세 소녀의 자살 계획을 도왔다고 비난했습니다.
불만사항 내용: 수천 개의 메시지와 예정된 장례식
법원 문서에서 ‘엠마’로 확인된 미성년자의 부모는 이번 주에 법원에 고소장을 제출했습니다. 캘리포니아 고등법원 ~에 맞서 Google 그리고 제품의 위험을 알고 어쨌든 출시한 것에 대해 그들이 지적하는 경영진. 법적 대리인은 다음이 제공합니다. 교육기술 법률 센터.
소송에 따르면 엠마는 챗봇을 찾으러 가지 않았다. 그의 변호사는 ‘어느 날 구글 검색에 그 내용이 나타났다’고 주장합니다. 그는 학교에서 준 크롬북에서 그것을 발견하고 교환했습니다. 쌍둥이자리 몇 달에 걸쳐 ‘수천 개의 메시지’가 전송되었습니다. 3개월 뒤 대화는 자살 방법으로 바뀌었다: 챗봇은 주변 사람들에게 자해 사실을 숨기는 방법을 설명해주고, 스스로 장례를 치르는 데 도움을 줬다고 한다.
외부 모니터링 프로그램의 알림을 통해 경보 신호를 감지해 부모에게 알린 것은 전직 상담사였고, 부모는 딸의 계정에 접속해 조치를 취했다. 계획된 자살은 발생하지 않았습니다.
혐의는 구체적입니다. 설계 결함, 경고 실패, 과실, 사기 은폐, 감정적 피해 등입니다. EdTech 법률 센터의 설립자인 Julie Liddell은 다음과 같이 요약했습니다. ‘구글은 수백만 명의 어린이에게 위험한 챗봇을 강요하기 위해 공립학교에 대한 지배력을 사용할 권리가 없습니다.’ 미성년자에게 해를 끼친 혐의로 이미 수백 건의 소송이 소셜 네트워크와 AI를 강타했습니다..
회사의 대응은 신중했습니다. Jose Castaneda 대변인은 회사가 이러한 비난을 ‘매우 심각하게’ 받아들인다고 확신하고 다음과 같이 회상했습니다. Google 는 수년 동안 위기 감지 시스템을 구축해 왔습니다. 검색 결과 위험이 나타나면 검색 엔진이 헬프라인에 대한 정보를 표시합니다. 거기에 추가됨 세이프서치교육용 계정에서 18세 미만의 사용자에 대해 기본적으로 활성화되는 노골적인 콘텐츠 필터입니다.
챗봇은 지하 포럼에 나타나지 않았습니다. 학교에서 13세 소녀에게 준 노트북에 이런 내용이 나타났습니다.
구글 학교 사업의 관문, 크롬북
이 사건은 그 뒤에 있는 사업 없이는 이해되지 않습니다. 크롬북은 미국 공공 시스템에서 가장 널리 사용되는 학교 기기이자 교육용 제품군입니다. Google —Gmail, Docs, Classroom, 검색 엔진 —은 수천 개의 학군에서 사실상의 인프라 역할을 합니다. 학교 이메일을 관리하는 동일한 제공업체가 학생의 챗봇을 배포합니다..
회사는 뉘앙스 없이 이러한 통합을 옹호했습니다. Chris Phillips, 교육 담당 부사장 Google그는 두 제품이 분리될 수 없다고 주장했다. ‘검색과 AI는 깊이 통합되어 있다’고 말한 뒤 AI를 차단하는 학교의 학생들은 ‘검색 엔진에 접근할 수 없게 될 것’이라고 경고했다. 이번 주 Breitbart News가 보도한 이 공지는 전체 교육 제품군에 영향을 미쳤습니다. 소동이 있은 후 회사는 X에서 자신의 지위를 인정받았고 커뮤니티의 메모에 따라 즉시 수정되었습니다.
세부 사항은 소송의 초점을 이동시킵니다. 캘리포니아 배심원단이 대답해야 할 질문은 모델이 실패했는지 여부뿐만 아니라 공립학교의 디지털 인프라를 제공하는 회사가 동일한 사용자 기반에서 대량 소비 기능을 테스트할 수 있는지 여부입니다. Emma의 변호사는 설계상의 결함이 있었다고 주장합니다. 회사에서는 가드레일이 있다고 답변한다. 두 버전 사이에는 해석 없이 한 가지 정보가 남아 있습니다. 학교 기기의 챗봇과 수천 건의 대화.
워싱턴 로직
~ 안에 워싱턴 누구도 인공지능을 규제하는 법을 통과시킬 필요가 없습니다. 법원이 일을 하도록 놔두세요. 캘리포니아의 불만은 미국 정치 시스템이 잘 알고 있는 패턴과 일치합니다. 즉, 의회가 입법을 하지 않으면 주와 배심원이 그 공백을 메웁니다. 사용자가 게시한 내용에 대한 책임으로부터 플랫폼을 보호하는 1996년 규칙인 섹션 230은 제품 디자인에는 적용되지 않습니다. 이 분쟁은 내용이 아니라 엔지니어링에 따라 해결됩니다..
수도 관청에서 가장 많이 인용되는 선례는 담배 관련 선례다. 수십 년 동안 업계는 의회에서 승리하고 법원에서 패했습니다. 내부 문서와 주정부 소송으로 인해 1998년에 이 부문을 재작성한 2,060억 달러 규모의 거래가 이루어졌습니다. 오늘날 AI를 상대로 소송을 제기하는 변호사들은 담배 매뉴얼을 사용합니다.: 내부 문서를 찾아 회사가 위험을 알고 있었음을 증명하고 사건을 배심원에게 가져갑니다. 연합은 당파적이지 않습니다: 미국에서 영향력 있는 아버지 권리 운동 공화당어린이 중심의 민주당은 거대 기술 기업을 공동의 적으로 만들었습니다.
스페인에서는 질문이 덜 추상적입니다. Chromebook 및 교육 도구 Google 그들은 교실을 디지털화한 많은 센터에 있으며, 화면 시청 시간에 대한 논쟁은 수년간 수도원에서 진행되어 왔습니다. 반면에 법적 틀은 다릅니다. 여기에는 230항에 해당하는 조항이 없으며, 제조물 책임은 소비자 및 사용자 보호를 위한 일반법의 적용을 받으며, 2024년에 승인된 유럽 지침에는 이미 소프트웨어와 AI가 해당 범위에 포함되어 있습니다.
유럽의 규제 압력은 비록 방식은 다르지만 미국의 소송과 같은 방향으로 추진되고 있습니다. Emma와 같은 사건은 해결되지 않을 것입니다. 마드리드 캘리포니아와 동일한 매뉴얼을 사용합니다. 그리고 그것은 아마도 스페인 독자들에게 가장 유용한 독서일 것입니다. 미성년자의 안전에 대한 논쟁은 더 이상 교실이 아니라 법원과 규정에서 벌어지고 있습니다.
지금 우리가 따라야 할 것은 사법 일정입니다. 캘리포니아에서의 조사, 다른 주의 합병 가능성, 법무장관이 절차 문서를 활용하는 것입니다. NIST가 발표한 AI 위험 관리 프레임워크인 기술 표준은 양측 전문가 모두에게 참고 자료 역할을 할 것입니다. 미성년자에 대한 특정 연방 규정을 통과시키지 않고 의회가 계속되는 한, 근거를 얻은 각 소송은 다음 소송의 근거를 재정의합니다..
사건 파일
- 사례: 13세 ‘Emma’의 부모는 Gemini가 학교 Chromebook에서 자살을 계획한 역할을 했다는 이유로 캘리포니아 고등법원에 Google을 고소했습니다.
- 주요 데이터: 몇 달 동안 ‘수천 개의 메시지’; 설계 결함, 경고 실패, 과실 및 사기 은폐 혐의; 교육용 계정에서는 18세 미만의 어린이에 대해 기본적으로 세이프서치가 활성화됩니다. 이 문제는 소셜 네트워크와 AI를 상대로 한 수백 건의 소송에 합류합니다.
- 스페인의 경우: 230항에 해당하지 않는 경우 해당 경로는 소비자법 및 2024년 유럽 지침이 됩니다. 024 자살행동 핫라인은 무료이며 하루 24시간 이용 가능합니다.
