OpenAI는 최초의 AI 칩인 Jalapeño를 통해 20개월도 채 안 되어 개념을 구현했습니다. Broadcom은 프로세서의 물리적 부분에 서명했으며 Nvidia는 이미 가장 눈에 띄는 클라이언트 중 하나에서 불편한 경쟁자를 보유하고 있습니다.
6월 24일, 샘 알트먼(Sam Altman)이 이끄는 회사는 자체 가속기의 세부 사항을 공개했습니다. 당신이 공개한 숫자가 추첨됩니다 해당 부문에서 일반적으로 관리하지 않는 달력: 코드부터 제조까지 9개월, 건축 계획부터 실리콘까지 20개월 이내에 완료됩니다.
작업의 핵심
- 컨셉부터 실리콘까지 20개월. 평균 팀 규모는 100명에 미치지 못했고 Broadcom이 디자인의 물리적 부분을 맡았습니다.
- Nvidia의 GB300보다 지연 시간이 최대 3.6배 적습니다. OpenAI 자체에서 게시한 데이터에 따르면 Jalapeño는 4비트로 13.4페타플롭에 도달하고 232GB의 메모리에 액세스합니다.
- AI는 전체 디자인이 아닌 코드 속도를 높였습니다. 그 프런트엔드 자체 모델의 혜택을 받았습니다. 그 백엔드 인간의 손에 남았습니다.
업계 최단 주기: 일반 연도 대비 20개월
속도가 뉴스입니다. 가치가 있는 모든 대형 기술 회사는 Nvidia에 덜 의존하기 위해 자체 실리콘으로 운을 시험했습니다. Google의 TPU나 Microsoft의 Maia가 있습니다. OpenAI의 차별점은 칩이 아니라 달력이다.
바로가기에는 집 자체의 모델이라는 고유한 이름이 있습니다. OpenAI의 하드웨어 부사장인 Richard Ho는 이미 기술 세계의 절반에 퍼지고 있는 문구로 이를 요약했습니다. ‘모델은 엔지니어에게 초능력을 제공합니다.’ 팀은 코드 작성 단계의 속도를 높이기 위해 XLS와 같은 도구를 사용했습니다.
작업 분배는 외과적이었습니다. Altman의 사람들이 시스템 설계를 담당하는 동안 Broadcom은 물리적인 부분을 담당했습니다. Nvidia의 최고 수준과 경쟁하는 가속기를 구축하려면 평균 100명 미만의 인력이 필요합니다..
AI는 칩을 만드는 법을 배운 것이 아니라, 100명의 엔지니어가 500명의 성과를 내도록 만드는 법을 배웠고, 이는 이미 시장을 움직이고 있습니다.
AI가 도달하지 못한 곳은 백엔드였습니다. OpenAI의 Chris Leary는 AI가 ‘소프트웨어처럼 보이는 부분에서 훨씬 뛰어났으며’ 물리적 검증, 타이밍 및 소비가 계속해서 Broadcom과 인간 엔지니어에 달려 있다는 점을 인정했습니다. Ho는 직설적으로 다음과 같이 말했습니다. ‘우리는 누구나 Codex만을 사용하여 차세대 가속기 칩을 만들 수 있다고 말하는 것이 아닙니다.’
Nvidia의 펄스: 대기 시간이 3.6배 단축되고 에너지 비용이 절감됩니다.
회사가 발표한 수치에 따르면 Jalapeño는 선도적인 액셀러레이터 그룹에 속합니다. 13.4페타플롭스의 4비트 컴퓨팅과 232GB의 메모리를 달성합니다.칩과 메모리 모듈 사이의 대역폭은 초당 15.4테라바이트입니다. 이는 실험실 실험에서 나온 것이 아닌 최고급 실리콘 수치입니다.
Nvidia를 가장 괴롭히는 사실은 또 다른 사실입니다. Jalapeño는 현재 OpenAI가 사용하는 칩인 GB300에 비해 종단 간 대기 시간을 최대 3.6배까지 줄이며 전력 소비도 더 낮습니다. 데이터센터의 전기요금이 연간 수천만 달러로 측정되는 사업에서는 효율성의 각 지점은 마진으로 직접 변환됩니다..
이 프로세서는 TSMC에서 제조되었으며 Broadcom의 다년간 인프라 계획의 일부입니다. 이는 Nvidia에 대한 의존성을 해제하는 첫 번째 단계이지만 첫 번째 단계에 불과합니다. 오늘날 회사는 계속해서 대규모 GPU를 구매하고 있으며 실리콘 로드맵은 여전히 짧습니다.
세부 사항: AI는 코드를 가속화하지만 엔지니어를 대체하지 않습니다.
가장 덜 서사적인 독서가 가장 합리적이다. OpenAI는 반도체 설계를 해결하지 못했습니다. 특정하고 매우 비싼 단계를 압축했습니다. 장점은 실제적이고 검증 가능합니다. 위험도 마찬가지입니다. 회사는 실리콘 로드맵을 두 파트너에 집중합니다.: 물리적 디자인은 Broadcom, 제조는 TSMC. 이는 소수의 플레이어에게 분산된 고급 노드 용량과 아시아에 고정된 공급망으로 인해 수년 동안 해당 부문을 압박해 온 동일한 병목 현상에 노출됩니다.
스페인은 현재 관중석에서 지켜보고 있다. IBEX 35 회사 중 자체 AI 가속기를 설계하는 회사는 없습니다. 그리고 국내 시장은 컴퓨팅의 순 구매자입니다. OpenAI의 전략으로 추론이 더 저렴해지면 그 효과는 스페인 사용자가 소비하는 서비스에도 영향을 미칠 것입니다. 즉, 쿼리당 가격이 낮아지고 모바일에서 모델이 더 빨라집니다.
바로가기가 확장되는지는 아직 알 수 없습니다. 우리가 면밀히 따르는 다음 이정표는 OpenAI와 Broadcom이 수년으로 연장하는 인프라 계획의 배포와 차세대 가속기를 통한 Nvidia의 대응입니다. 그곳에서 우리는 Jalapeño의 20개월이 특정 기록인지 아니면 해당 분야의 새로운 표준인지 알게 될 것입니다.
