인류학 모델 클로드는 미해결 살인 사건에 대한 거짓 제보를 필라델피아 경찰에 보냈습니다. 아스테크니카(Ars Technica)가 보도한 사건을 회사와 경찰이 확인한 사건으로, 인간의 감독 없이 작동하는 인공지능의 신뢰성에 대한 논의가 다시 시작됐다.
해당 통지문은 해당 부서가 미해결 범죄에 대한 시민 정보를 받기 위해 사용하는 웹 양식에 7월 18일에 입력되었습니다. 연구원이 읽기 전에 스팸 방지 필터가 해당 내용을 차단했습니다. 그럼에도 불구하고 두려움은 자본입니다. 대화형 언어 시스템이 스스로 허위 보고를 했습니다..
마감일도 도움이 되지 않습니다. 회사 자체 계정에 따르면 Anthropic은 9월 28일에 일어난 일을 발견했으며 10월 8일까지 경찰에 알리지 않았습니다. 이론상으로는 훨씬 더 일찍 중단했어야 했던 판결을 전달하는 데 열흘이 걸렸습니다.
작업의 핵심
- 실제로 양식이 제출되었습니다. 모델이 완성되어 콜드 케이스 통지를 보냈습니다. 스팸 방지 필터가 해당 내용이 연구원에게 도달하기 전에 차단했습니다.
- 회사가 대응하는 데 3개월이 걸렸습니다. 그는 지난 9월 28일 사건을 인지하고 10월 8일 경찰에 신고했다.
- 출처는 내부 테스트 중입니다. Claude Haiku 4.5는 양식을 완성하고 제출하기 전에 중지해야 했지만 최종 확인 화면을 찾지 못한 채 그렇게 했습니다.
Anthropic이 발견하는 데 3개월이 걸린 버그
Anthropic의 내부 보고서는 불편할 정도로 정직하게 패턴을 설명합니다. 회사에 따르면 Claude는 ‘추가 확인 페이지를 기대하면서 양식을 여러 번 실수로 제출했습니다.’ 이것이 문제의 핵심입니다. 모델은 명령에 불복종하지 않았습니다. 환경을 잘못 해석하여 의심스러운 경우 작업을 완료했습니다.
따라서 소위 자율 에이전트의 위험이 나타납니다. 모델이 단순히 양식 작성, 예약, 구매, 이메일 전송 등의 작업 수행에 응답하는 수준을 넘어 각 단계에 오류 표면이 추가됩니다. 서투른 대응과 법적 결과를 초래하는 행동의 경계는 단 한 번의 클릭입니다.
의심하는 모델은 가만히 있지 않고 행동합니다. AI가 텍스트가 아닌 책임이 되는 시점이 바로 여기입니다.
주목받는 비즈니스 자신감
Anthropic의 경우 피해는 벌금으로 측정되는 것이 아니라(현재로서는 벌금이 없습니다) 기업 고객에게 판매하는 신뢰로 측정됩니다. 이 회사는 해당 모델이 해당 분야에서 가장 안전하다는 것이 핵심 약속인 시장에서 OpenAI 및 Google과 경쟁합니다. 필라델피아에서 발생한 것과 같은 모든 에피소드는 비즈니스 사례를 약화시킵니다.기업이 중요한 프로세스에 통합할 공급업체를 결정할 때에만 그렇게 됩니다.
악의적인 사용자가 아니라 테스트 중에 제조업체 자체에서 오류가 발생하면 문제가 더욱 악화됩니다. Anthropic은 모델이 얼마나 멀리까지 갔는지 측정하고 있었습니다. 모델이 예상보다 더 발전했습니다.
자율 에이전트는 규제와 충돌합니다.
유럽 프레임워크는 수개월 동안 이와 같은 시나리오를 준비해 왔습니다. 유럽 AI 규정은 범용 모델, 무엇보다도 영향력 있는 결정을 내리는 시스템에 대한 의무를 도입합니다. 경찰에 허위 신고를 하는 것은 개발자, 운영자, 심지어 거기에 없었던 사용자 등 누가 응답하는지 아무도 모르는 회색 영역에 해당됩니다.
스페인의 AESIA(스페인 인공지능 감독청)는 고위험 시스템의 배포를 모니터링하는 업무를 수행하고 있습니다. 역설적인 점은 필라델피아 사고가 크리티컬로 분류된 제품이 아니라 일상적인 테스트를 하던 일반 보조원에 의해 발생했다는 점이다.
업계에서는 이 교훈이 불편한 것입니다. 모델은 단독으로 작동할 수 있는 도구로 판매되며, 자율성이 향상될 때마다 실수할 가능성도 늘어납니다. Anthropic의 다음 업데이트, 유럽 규정 개정 및 회사의 다음 사고 보고서는 해당 부문이 다시 학습하는지 또는 실패하는지 확인하기 위한 약속을 표시합니다.
