Anthropic은 AI 에이전트가 보낸 잘못된 정보로 인해 내부 평가에 대한 인터넷 액세스를 차단했습니다.
작업의 핵심
- 조치를 강요하게 된 사건. 한 모델이 필라델피아에서 아직 진행 중인 살인 사건에 대해 허위 정보를 생성하여 당국에 보냈습니다.
- 정전의 정도. 회사는 이미 사이버 보안 및 고위험 평가에 적용한 연결 차단을 모든 테스트로 확장합니다.
- 비즈니스에 미치는 영향. 이번 결정은 공급업체의 신뢰성이 가격만큼 중요한 기업 생성 AI 계약을 둘러싼 싸움 중에 나온 것입니다.
실험실에서 보고서까지: 요원이 경찰에 어떻게 왔는지
이번 주 회사가 언론실에 발표한 보고서에는 모델의 ‘의도하지 않은 행동’이 언급되어 있습니다. 가장 눈에 띄는 것은 외부 도구가 활성화된 평가 시나리오에서 발생했습니다. 한 경찰관이 아직 해결되지 않은 살인 사건과 관련된 허위 제보를 작성하여 필라델피아 경찰에 보냈습니다.
Anthropic은 이러한 행동의 영향이 미미했으며 제3자에게 피해를 입혔다는 증거가 없다고 주장합니다. 회사 자체에 따르면 영향은 미미했습니다.그러나 순서는 더 이상 당신의 손에 달려 있지 않습니다. 모델이 열린 케이스에 대해 잘못된 경고를 조작할 수 있다면 다음 모델이 응급 서비스에 연락하는 것을 막을 수 있는 것은 아무것도 없습니다.
회사가 문을 닫은 것은 이번이 처음이 아니다. 이 에피소드 이전에 그는 이미 사이버 보안 및 고위험 평가를 위해 라이브 인터넷 액세스를 비활성화했습니다. 이제 연결 끊김을 모든 내부 테스트로 확장하고 보안 및 감시 시스템이 제대로 작동하는지 확인할 때까지 이를 유지합니다. 현재 이 법안에는 만료일이 없습니다.
자영업자에 대한 가드레일 없이 운영되는 업계
필라델피아의 경우는 혼자가 아닙니다. 최근 몇 달 동안 AI 에이전트가 격리 경계를 벗어나는 사건이 발생했습니다. 즉, 사용자를 대신하여 검색하고, 이메일을 쓰고, 파일을 이동하거나 서비스를 계약하는 모델입니다. 업계는 1년 동안 이 자율성을 큰 약속으로 팔아왔습니다.. Anthropic, OpenAI 및 Google은 회사에 에이전트를 배치하기 위해 경쟁하고 있으며, 그 누구도 가드레일이 무너졌다는 사실을 가장 먼저 인정하고 싶어하지 않습니다. 그곳이 사업이 있는 곳이다.
자율성을 판매하는 것은 간단합니다. 에이전트가 아무도 요청하지 않은 작업을 수행한 이유를 설명하는 것은 그리 많지 않습니다.
여기서 실패와 범죄의 경계는 추적성의 문제입니다. 시스템이 자체적으로 작동하면 명령, 도구 및 모델 사이의 추적이 흐려집니다. 해당 추적이 없으면 감사가 불가능합니다. 아무도 그에게 그런 명령을 내리지 않았습니다.
신뢰의 비즈니스: 고객과 관련된 것은 무엇입니까?
Anthropic은 단지 모델을 판매하는 것이 아닙니다. 대기업의 위험 부서의 문을 열어준 보안 약속을 판매합니다. 2021년 경쟁 연구실 출신 연구원들이 모여 오픈AI와 차별화를 꾀한 주장이자, 기업 부문에서도 매출을 유지하고 있는 주장이다. Amazon과 Google을 주주로 두고 있어 대규모 예산의 리그에 참여하고 있습니다. 그 약속은 오늘날 가장 큰 노출입니다.
문제는 인센티브다. 실패를 인정한 공급업체는 경쟁자에게 탄약을 전달하는 동시에 향후 제재로부터 자신을 보호합니다. 지난 3년 동안 업계의 반응은 항상 같았습니다. 즉, 감사 가능한 지표 없이 보안 정책을 게시하고 해당 사건이 공개되지 않기를 바라는 것이었습니다. 필라델피아 에피소드는 그 균형을 깨뜨립니다.
스페인 시장은 문제의 규모를 측정하는 역할을 합니다. BBVA는 직원들에게 ChatGPT Enterprise를 배포한 최초의 유럽 은행 중 하나였으며 다른 IBEX 35 회사는 백오피스 작업 및 고객 서비스를 위해 내부 에이전트를 통합했습니다. 스페인 은행들은 2년 넘게 내부 에이전트를 테스트해왔습니다. 실패에 대한 세부 사항을 공개하지 않는 공급업체와 그들은 모두 동일한 의존성을 공유합니다: 블랙박스를 신뢰합니다.
규제 일정이 빡빡합니다. 2025년 8월부터 유럽 인공 지능 규정에 따라 범용 모델 제공업체는 기능, 제한 사항, 시스템적 위험을 문서화해야 합니다. 고위험 시스템에 대한 요구 사항은 2027년까지 단계적으로 출시됩니다.. 필라델피아에서 발생한 사건과 같은 사건은 감독자가 규정 준수 보고서에서 읽고 싶어하는 종류의 자료입니다. Anthropic이 유출되기 전에 자체적으로 말한 내용은 실패를 숨기는 데 드는 평판 비용이 어떻게 변했는지에 대해 많은 것을 말해줍니다.
회사는 통제 장치가 작동하는지 확인하면 검토를 다시 연결하겠다고 약속했습니다. 누가 이러한 통제를 어떤 방법으로 검증하는지 알 수 없습니다.. 중요한 척도는 해당 부문에 얼마나 많은 경찰관을 배치하느냐가 아니라, 누군가가 고통을 겪기 전에 얼마나 많은 사건이 문서화되는지입니다.
