인공지능의 환각이 미국과 중국 간 군사적 충돌을 촉발할 위기에 처했다. CNN이 이 사건에 정통한 4개 소식통을 통해 폭로한 바와 같이, AI 도구의 도움으로 준비되고 완전히 거짓인 정보 보고서는 미군이 공중 지원을 받아 중동 해역에서 중국 선박에 탑승할 준비를 하도록 이끌었습니다.
작업의 핵심
- 보고서는 특수 작전 사령부의 분석가로부터 나왔습니다. 문서에는 중국 선박이 중동으로 향하는 핵 프로그램용 부품을 운송하고 있다고 적혀 있었습니다.
- 챗봇이 배송된 자료를 잘못 식별했습니다. 내부 검토 결과, 도구가 항상 동일한 소스에 따라 부하를 부정확하게 설명했다는 사실이 밝혀졌습니다.
- 탑승 전에 차단이 중단되었습니다. 상담을 받은 사람 중 한 명은 실패의 규모를 가늠할 수 있는 말로 ‘전쟁을 일으킬 뻔했다’는 말로 에피소드를 요약했습니다.
문의부터 챗봇, 탑승운영까지
미국 체인을 재구성하는 시퀀스는 모든 일반 직원에게 불편합니다. USSOCOM(특수전사령부)의 한 분석가는 자연어 도구를 사용하여 정보 보고서를 작성했습니다. 그 결과 중국 선박이 중동 해역을 통해 핵 프로그램의 구성 요소를 운송한 것으로 나타났습니다.
육군은 그 문서를 탁자 위에 올려놓고 공중 지원을 통한 요격 준비를 시작했습니다. 지휘관이 보고서 생성 방법을 검토하면서 작전이 중단되었습니다. 시스템이 화물을 잘못 식별했음을 확인했습니다. 아무도 버튼을 누르지 않았습니다. 탑승은 이루어지지 않았지만 해당 에피소드는 이미 워싱턴과 브뤼셀 사무실에 퍼지고 있습니다.
광범위한 결론을 내리기 전에 정보의 상태를 강조할 가치가 있습니다. 익명의 출처가 4개 있고 국방부나 USSOCOM의 공식적인 확인이 없으며 이야기는 단일 매체를 통해 전달됩니다. 물론, 오류에 대한 설명은 국방 AI의 위험성이 더 이상 세미나 주제가 아닐 정도로 구체적입니다.
AI법이 끝나는 곳에서 시작되는 규제 공백
유럽 인공지능 규정은 군사 및 국방 목적으로 개발된 시스템을 적용 범위에서 제외합니다. 고위험 시스템에 대한 의무가 8월 2일부터 발효되었습니다. 그럼에도 불구하고 그들은 미국 사령부에 조언한 도구에 도달하지 못합니다. 그 틈이 바로 실패한 보고서가 이동한 공간이다.
미국에서는 문제의 또 다른 이름이 긴급성(urgency)입니다. 국방부는 3년 동안 문서 분석, 번역 및 요약 작업에 생성 보조자를 통합해 왔으며 채용 기한을 단축하라는 압력이 검증 프로토콜보다 앞서갔습니다. 빨리 오는 허위신고도 역시 허위신고다명령은 적보다 먼저 그것을 수신합니다.
지능에 대한 첫 번째 판독을 기계에 위임한다고 해서 인간의 오류가 제거되는 것은 아닙니다. 누구도 똑같이 서둘러 검토하지 않는 수준으로 이동합니다.
역설에는 불편한 논리가 있습니다. 국방부에서 AI 채택이 가속화될수록 이를 다루는 구속력 있는 규칙은 줄어듭니다. 계약업체는 분석 속도를 팔고, 국가는 반응 능력을 구매합니다. 사람이 직접 확인하는 상자에 서명하는 사람은 없습니다. 그리고 누군가가 데이터의 출처를 묻기 전까지는 모델에 대한 환각이 감지되지 않습니다.
인드라(Indra), 유럽 재무장과 분석 자동화 유혹
스페인에서는 논쟁이 이론적이지 않습니다. FCAS 프로그램에 대한 스페인의 참여를 조정하고 국방부의 주요 기술 공급업체 중 하나인 Ibex 35 회사인 Indra는 명령 및 제어 시스템의 중심에 인공 지능을 배치했습니다. 이는 유럽에서 동일한 계약과 동일한 상업적 주장을 두고 탈레스 및 레오나르도와 경쟁합니다. 즉, 데이터와 결정 사이의 시간이 단축됩니다.
중국 선박의 에피소드는 구매 지역이 아직 가격을 책정하지 않은 위험을 초래합니다. 한 번의 환각으로 인해 계약이 동결되거나 인증 감사가 시작될 수 있습니다. 재무장 주기의 중간에. Palantir가 매출의 상당 부분을 미국 공공 지출에 의존하고 유럽 제조업체가 대륙의 국방 예산에 입찰하는 시장에서 생성된 각 응답의 추적성은 기술적인 세부 사항이 아니라 판매 논거가 됩니다.
스페인은 NATO가 2035년까지 국방비를 늘릴 것을 약속했습니다. 그 돈이 테이블 위에 있으면 정보 분석을 자동화하려는 유혹이 엄청납니다. 참모부는 며칠이 아니라 몇 분 안에 답변을 원합니다. 속도가 팔립니다. 문제는 인간의 검증을 강제하지 않는 속도가 잘못된 확신을 낳는다는 것입니다.
우리는 각 기업의 AI 배포에서 반복되는 패턴과 방어 부문에서 다른 규모를 취하는 패턴을 관찰합니다. 즉, 도구는 약속한 대로 구매되고 실패한 것에 대해 감사됩니다. 가장 가까운 스페인 선례는 막사가 아니라 행정 디지털화에 있는데, 자동화된 오류는 불만 사항과 몇 주간의 인내심을 통해 수정됩니다. 선박이 이미 차단되었을 때 청구가 도착합니다.
국방부가 이 사건을 확인하고 내부 검토 결과 각 AI 지원 보고서에 대한 필수 검증 프로토콜이 만들어지는지는 아직 알 수 없습니다. 마일스톤은 실패한 도구가 아니라 이후에 작성되는 절차입니다.. 그것이 도달할 때까지 유일하게 확실한 결론은 인공지능의 규제가 가장 큰 피해를 주는 부분에서 계속해서 다른 방향을 바라보고 있다는 것입니다.
