TikTok은 A/B 테스트에서 1,500만 명의 미국 사용자에게 보안 보호 수단을 제공하지 못했습니다. 체이스 나스카(16세)가 자살했다.
작업의 핵심
- A/B 테스트는 미국 계정의 10%를 분리했습니다. 약 1,500만 명의 사용자가 유해 콘텐츠의 루프를 줄이기 위한 조치 없이 기존 알고리즘을 계속 사용했습니다.
- Chase Nasca는 2주 만에 7,563명의 추천을 받았습니다. 73%는 정서적 고통을 언급했고 약 10%는 TikTok의 자해 및 자살 규칙을 위반했습니다.
- TikTok은 Bloomberg의 문의 이후에만 철저하게 조사했습니다. 내부 문서에서는 해당 계정이 특정 장애가 아닌 의도적으로 필터 버블에 갇힌 것으로 결론지었습니다.
수백만 개의 계정을 안전망 없이 방치한 실험
2022년 초 TikTok은 알고리즘 업데이트를 출시했습니다. 유해한 콘텐츠의 반복적인 루프를 줄입니다.. 개선을 통해 반복적인 패턴을 감지하고, 밥을 먹이다. 그러나 약 10%의 미국 사용자로 구성된 실험의 통제그룹은 이전 시스템을 유지했다. 이로 인해 새로운 보호 장치 없이 약 1,500만 개의 계정이 남았습니다.
Chase Nasca의 계정은 임의의 그룹에 속했습니다. 블룸버그가 인용한 기밀 문서에 따르면, 알고리즘은 사망 2주 전 그에게 7,563개의 동영상을 추천했습니다.. 73%는 정서적 고통, 외로움 또는 우울증에 관한 것이었습니다. 거의 10%가 자해 및 자살에 대한 플랫폼의 규칙을 위반했습니다. 마지막 시간에 이 십대는 자살에 관한 여러 동영상을 즐겨찾기로 표시했습니다.
내부 분석에는 불편한 문구가 포함되어 있습니다. 필터 버블을 방지하기 위한 전략은 ‘설계상’ 이 사용자에게 아무런 영향을 미치지 않았습니다. 문서는 외로움에 관한 노래 검색이 그를 떠난 패턴을 활성화했다고 결론지었습니다. 반복되는 자살 충동의 거품 속에 갇혀. ‘설계에 의한’이라는 표현은 플랫폼이 의도적으로 중독을 유발한다고 비난하는 사람들의 주장을 강화합니다.
TikTok은 자체적으로 이 조사를 시작하지 않았습니다. 2023년 3월 Bloomberg Businessweek가 회사에 연락한 후 출시되었습니다. 최종 문서에서는 해당 계정이 필터 버블에 갇혔어요 특히 사망 전 며칠 동안 자해, 자살, 우울증과 관련된 콘텐츠가 반복적으로 권장되었습니다.
같은 날 TikTok의 CEO가 미국 의회에 나타났습니다. 서면 질문 중 하나는 회사가 우울한 영상에 노출된 후 자살한 사례를 인지했는지 여부를 확인하기 위한 것이었습니다. 공식 반응은 강력했습니다. TikTok은 플랫폼 사용으로 인해 자살이 발생했다는 사실을 부인했습니다.. 그때까지 회사는 이미 Nasca 사례에 대한 분석을 완료했습니다.
기술적 오류로 인해 알고리즘이 충돌하지 않았습니다. 실험 규칙을 준수했습니다. 회사 성명서에서는 답변하지 않는 부분이다.
TikTok의 대응 및 규제 조사
Xataka의 자문을 받아 TikTok은 비극적인 손실을 깊이 후회하고 미성년자의 안전이 최우선 사항임을 유지하는 성명을 보냈습니다. 회사는 규칙을 위반하는 콘텐츠를 제거하는 탐지 시스템과 전문 팀에 투자하는 것을 목표로 합니다. 새로운 보호 장치 없이 1,500만 개의 계정을 유지한 이유는 명확하지 않습니다.그룹 간의 차이가 얼마나 오래 지속되었는지도 알 수 없습니다.
이 사건은 TikTok이 이미 유럽에서 겪고 있는 조사에 탄약을 추가합니다. 유럽연합 집행위원회는 디지털 서비스법에 따라 미성년자 보호 및 중독성 디자인에 대해 공개적인 입장을 유지하고 있습니다. 스페인에서는 미성년자 사이에 TikTok이 존재한다는 사실은 이러한 발견을 국가 디지털 정책의 문제로 만듭니다.. 문서에 설명된 패턴은 미국에만 국한되지 않습니다. 청소년 기반이 큰 모든 시장에서는 동일한 위험이 반복됩니다.
아동 안전 실험의 평판 비용
이 문구를 읽어보면 A/B 테스트에서 구조적 갈등이 드러났다는 뜻이다. 플랫폼은 관심을 유지하기 위해 실험을 해야 하지만 통제 그룹은 회사 자체가 더 위험하다고 간주하는 버전에 노출됩니다. TikTok이 Chase Nasca에게 해를 끼치려고 했다는 증거는 없습니다. 피해가 통계적으로 예측 가능했다는 증거가 있습니다.. 그리고 그 법적, 평판적 뉘앙스가 중요합니다.
광고 시장의 경우 이 파일은 알고리즘 투명성에 대한 요구를 가속화할 수 있습니다. 유럽의 광고주들은 이미 자사 브랜드를 위한 안전한 환경을 요구하고 있습니다. 법원 보고서에는 16년 된 계정이 수천 개의 유해 동영상을 수신한 방법이 기록되어 있습니다. TikTok이 대행사 및 대형 광고주 앞에서 안전한 플랫폼으로서의 내러티브를 유지하기 어렵게 만듭니다.. 광고 신뢰성은 규제 신뢰와 마찬가지로 구축됩니다.
열린 질문이 남아 있습니다. TikTok이 2023년 3월에 이러한 효과에 대해 알고 있었다면 왜 결과를 더 빨리 전달하거나 실험 설계를 검토하지 않았습니까? 회사는 사건 이후 A/B 테스트 프로토콜을 수정했는지 여부를 자세히 밝히지 않았습니다. 경제적 수단으로서 우리는 다음 노선을 따를 것입니다: 제대로 관리되지 않은 통제 그룹의 비용은 더 이상 제품 지표로만 측정되지 않고 법적 책임과 브랜드 평판으로 측정됩니다..
