Revolut은 2,000명의 엔지니어를 GLM 5.3 중국 AI로 옮겼으며 비용은 10배 감소했습니다. 56개의 Nvidia GPU가 탑재된 자체 서버에서 제공되는 Z.ai의 개방형 페소 모델의 비용은 백만 토큰당 약 30센트입니다. Claude Code와 Codex는 가장 어려운 문제에 대한 탁월한 리소스로 남아 있습니다.
작업의 핵심
- AI 청구서는 10으로 나뉩니다. Revolut의 AI 운영 및 인프라 이사인 David Abitbol에 따르면 Revolut은 유사한 프론티어 모델 비용의 약 10분의 1을 지불한다고 합니다.
- 비용은 가변에서 고정으로 변합니다. 56 Nvidia GPU는 Anthropic 및 OpenAI의 종량제 결제와 달리 요청할 때마다 증가하지 않는 비용으로 서비스를 지원합니다.
- 중국 모델이 규제된 핀테크에 진입했습니다. 기업은 격리된 환경과 인적 검토를 통해 해당 인프라나 EU 및 미국 제공업체에서만 가중치를 사용하고 추론을 실행합니다.
좌석당 결제를 깨뜨리는 고정 비용
Abitbol이 베를린의 Nvidia GTC에서 발표한 데이터는 상업적인 할인이 아니라 비용 아키텍처의 변화입니다. Revolut은 엔지니어에게 약 56개의 GPU와 백만 토큰당 30센트의 총 비용으로 GLM 5.3을 제공합니다. 청구서는 고정되어 있으며 상담할 때마다 증가하지 않습니다. 데모에서는 보이지 않는 그 차이가 연간 예산을 결정합니다.
이전 단계와의 대조는 웅변적이다. 회사는 Claude Code의 엔지니어당 월 300달러를 할당하기도 했습니다. Abitbol에 따르면 생산성 향상은 미미했습니다. 해당 월말이 되기 전에 크레딧이 소진되었습니다.. 자체 호스팅 모델을 사용하면 약속이 무제한 토큰이 되었습니다. 그리고 용도가 변경되었습니다. 엔지니어는 배급 협의를 중단했습니다.
2,000명의 엔지니어를 대상으로 한 결과는 매우 중요합니다. 프로그래밍 시간은 약 60% 단축되었고, 사고 할당부터 배포까지 전달 시간은 약 70% 단축되었습니다. 코드가 생산될 때까지 기다리는 시간이 3분의 2로 줄어듭니다.
무제한 예산으로 토큰은 구매 시트가 예상하지 못했던 작업(Confluence에서 검색, Jira에서 문제 관리, Slack에서 대화 추적)에 사용되었습니다. 실제 병목 현상은 코드 작성이 아니라 이를 해결하는 데 있었습니다. 모든 엔지니어링 관리자가 즉시 인식할 판독값입니다.
무제한 토큰을 구매하는 것이 배분하는 것보다 저렴합니다. 한도는 모델에는 없었고 송장에 있었습니다.
Anthropic과 OpenAI는 예외로 남습니다.
프론티어 모델은 Revolut에서 사라지지 않았습니다. 여전히 사용 가능하지만 예산이 적고 가장 어려운 경우를 위해 예약된 옵션으로 제공됩니다. 서부 공급업체는 작업 테이블에서 특정 상담으로 이동합니다. 계층 구조가 역전되었습니다. 먼저 저렴한 모델, 그 다음에는 비싼 모델입니다.
이전 둘러보기는 요인의 순서를 이해하는 데 도움이 됩니다. Google의 Gemini는 1월에 출시되었으며 배송 시간은 10%, 프로그래밍 시간은 20% 향상되었습니다. 그런 다음 클로드 코드가 월별 용돈을 가지고 도착했습니다. 마지막 도약은 자체 호스팅된 것이었고, 신용 카드에 의존하지 않는 사용 한도.
어려운 부분은 모델을 선택하는 것이 아니라 서비스를 제공하는 것이었습니다. 6월에는 설정이 초당 4개의 요청으로 10초 이상 응답했습니다. 동일한 수의 GPU로 배포를 조정한 후 회사는 지연 시간이 1.8초 미만인 초당 8개 이상의 요청으로 전환했습니다. Abitbol은 컨텍스트 창을 256,000개의 토큰으로 제한하고 FP8 대신 FP4 형식을 사용하여 약 40%의 용량을 확보할 것을 권장합니다. 가장 불편한 조언: 트래픽이 증가할 때마다 하드웨어를 추가하려는 유혹에 저항하십시오..
간과해서는 안 되는 한계가 있습니다. GLM은 텍스트 전용이며 이미지 작업은 더 저렴한 모델인 Gemini Flash로 전환됩니다. 최종 아키텍처는 완전한 대체가 아닌 공급업체의 패치워크입니다.
중국 페소로 규제되는 은행의 위험
Abitbol은 감독 대상 엔터티에서 중국 모델을 사용하면 눈살을 찌푸리게 한다는 점을 인정합니다. 그들의 대답은 기술적입니다. Revolut은 Z.ai 팀이 게시한 가중치만 사용하고 자체 인프라나 EU 또는 미국 공급자에서 이를 호스팅하므로 데이터가 중국 서비스로 이동하지 않습니다. 에이전트는 일부 명령을 활성화하고 다른 명령을 차단하는 격리된 환경에서 실행되며 항상 한 사람이 루프에 참여합니다.
그는 또한 OpenAI나 Anthropic에 코드를 제출하는 것보다 이 방식이 개인 정보 보호에 더 낫다고 주장합니다. 데이터는 경계를 벗어나지 않습니다. 중요한 것은 모델의 무게입니다. 이는 적절한 법적 구별인 동시에 순진한 상업적 주장과는 거리가 멀습니다.
저축에는 대화에서 정량화할 수 없는 대응물이 있습니다. Revolut는 이전에 턴키 방식으로 구입했던 작업인 유지 관리, 배포 튜닝 및 버전 모니터링을 맡습니다. 오늘의 고정비는 내일도 지탱해야 하는 플랫폼 장비입니다. 그리고 지역적으로 실행한다고 해서 서구 규제 생태계 외부의 공급자에 대한 의존도가 사라지는 것은 아닙니다.
IBEX 35에서 BBVA와 Santander는 AI에 대한 지출의 상당 부분을 Azure 및 AWS를 통해 전달되는 프론티어 모델 라이선스에 집중했습니다. 두 회사 모두 이러한 야망을 가지고 자체 데이터 센터에 개방형 가중치를 배포한다고 보고한 적이 없습니다. 스페인 은행은 상품을 구매합니다. Revolut은 인프라 구매를 시작했습니다. 접근 방식의 차이는 참석자가 추적 가능성이 대기 시간보다 중요한 위험 및 규정 준수를 일반화할 때 눈에 띄게 나타납니다.
산성 테스트는 실리콘 밸리에서 나오지 않습니다. 유럽 라이센스를 감독하는 ECB 또는 리투아니아 당국인 감독관이 모델의 관리 연속성, 각 버전의 문서 및 잘못된 배포를 되돌리기 위한 프로토콜에 대해 물을 때 올 것입니다. 8천만 명 이상의 고객을 대상으로 자체 플랫폼을 운영하는 핀테크는 모든 감사를 달력 문제로 전환합니다. 문제는 더 이상 오픈 웨이트가 더 저렴한지 여부가 아니라 그것이 안전하다는 것을 증명하는 데 드는 비용입니다.
