수요일(10월 2일) SaferAI가 발표한 등급에 따르면 수석 AI 개발자는 위험 관리가 부족하며 프랑스 회사인 Mistral AI가 최악의 점수를 받았습니다.
프랑스 비영리단체 SaferAI “더 안전한 AI 시스템의 개발 및 배포를 장려”하는 것을 목표로 하는 이 보고서는 Anthropic, OpenAI, Google Deepmind, Meta, Mistral, xAI는 보통 또는 더 나쁨입니다.
SaferAI CEO Simeon Campos는 Euractiv와의 인터뷰에서 “우리가 대규모 AI 피해를 보지 못하는 이유는 AI 시스템이 아직 그러한 피해를 일으킬 수 있는 충분한 능력을 갖추고 있지 않기 때문이지 기업이 적절한 위험 관리를 하고 있기 때문이 아닙니다.”라고 말했습니다.
기술이 “놀라운 속도”로 발전함에 따라 “AI 산업에서는 강력한 위험 관리 관행이 시급히 필요합니다”라고 그는 덧붙였습니다.
회사는 위험 식별, 허용 및 분석, 완화에 따라 등급이 매겨졌으며 레드 팀 구성 및 위험 임계값 정량화와 같은 특정 질문을 다루었습니다.
Anthropic, OpenAI, Google 및 Deepmind는 중간 정도의 점수를 얻었으며 Meta도 크게 뒤처지지 않았습니다. 그들의 점수는 주로 안전 테스트 및 레드 팀 활동으로 인한 위험 식별 등급에 따라 결정되었지만 발견한 위험을 얼마나 적극적으로 분석하고 완화하는지에 따라 다릅니다. Meta는 위험 분석과 완화 모두에서 “매우 약함”으로 평가되었습니다.
한편 Mistral과 xAI는 식별에서 “매우 약한” 0.25/5점을 제외하고 모든 점에서 “존재하지 않음” 점수를 받았습니다.
Meta, Mistral 및 xAI는 모델을 오픈 소스로 출시했습니다. 즉, 인터페이스를 통해 모델을 출시하는 대신 모델을 수정하고 사용할 수 있는 직접 액세스를 허용합니다. SaferAI의 웹사이트는 이것이 “본질적으로 문제가 있는 것은 아니지만” “철저한 위협 및 위험 모델링”이 부족하면 무책임하다고 말합니다.
회사들은 출판 시점까지 Euractiv의 논평 요청에 응답하지 않았습니다.
SaferAI의 보도 자료에 따르면 Turing 상 수상자이자 선도적인 AI 연구원인 Yoshua Bengio는 “회사의 안전 접근 방식을 평가하고 비교할 수 있는 집단적 능력을 향상시키는 것을 목표로 하는 이와 같은 이니셔티브의 개발을 강력히 권장합니다”라고 말했습니다.
Bengio는 또한 GPAI(범용 AI) 제공업체가 EU AI 법을 준수하기 위해 취해야 할 위험 관리 조치를 자세히 설명하는 위원회의 AI 사무국과 함께 실천 강령 초안을 작성하는 핵심 실무 그룹의 의장이기도 합니다.
한편, AI 사무국은 위험 관리에 대한 기술 역량을 강화하기 위해 직원을 채용해 왔습니다.
위원회 대변인은 이메일을 통해 Euractiv에 “AI 사무국 규제 및 준수 부서의 상당 부분이 이미 생성 AI와 관련된 위험, 특히 GPAI에서 발생하는 위험을 해결하는 데 초점을 맞추고 있습니다”라고 말했습니다.
대변인은 이들이 대부분 법적, 정책적 배경을 갖고 있지만 위원회는 더 많은 기술 인력을 고용하기 위해 노력하고 있다고 말했습니다.
“적당한 소수의 사람들이 기술 안전 부서에 합류했습니다.” 그리고 “대부분 컴퓨터 과학/공학 학위를 갖고 있고 그 중 상당수가 박사 학위를 소지한 기술 배경을 가진 25명의 기술 전문가 채용이 진행 중입니다. “라고 대변인은 말했다.
그러나 이해관계자들은 위원회가 기술 역량과 함께 사무실에 직원을 배치하는 방식과 속도에 의문을 제기했습니다.
