엔비디아 '그록 3 LPX' 양산…초당 3,431토큰

엔비디아가 8월 24일 AI 추론 가속기 '그록 3 LPX(Groq 3 LPX)'가 정식 양산에 들어갔다고 발표했다. 2025년 12월 200억 달러를 들여 인수한 그록의 기술이 8개월 만에 실제 제품으로 모습을 드러낸 것이다.

1초에 3,431토큰, 기존 최고 기록의 3.9배

엔비디아가 공개한 벤치마크(오픈 모델 Gemma 4 31B 기준)에서 그록 3 LPX는 10만 토큰짜리 긴 문맥을 다룰 때 초당 3,431개의 출력 토큰을 냈다. 같은 조건에서 가장 빠른 공개 엔드포인트가 초당 870개였으니 약 3.9배다. 코딩 과제 벤치마크에서는 중앙값 초당 4,767토큰을 기록했다. 이 가속기는 단독 제품이 아니라 차세대 플랫폼 '베라 루빈 NVL72'를 확장하는 형태로 쓰이며, 첫 도입 AI 클라우드는 네비우스(Nebius)다.

왜 지금 '속도'가 중요한가

챗봇은 사람이 읽는 속도만 따라가면 됐다. 하지만 AI 에이전트는 사람 대신 수십 번 생각하고, 도구를 부르고, 결과를 다시 읽는다. 이때 생성 속도가 느리면 그만큼이 전부 대기 시간이자 비용으로 쌓인다. 몇 분 걸리던 작업이 몇 초로 줄어든다는 건, 그록(groq)처럼 '빠른 추론'을 앞세우던 서비스를 써본 사람이라면 체감할 변화다. 추론 경쟁의 축이 '얼마나 똑똑한가'에서 '얼마나 빨리 뱉는가'로 옮겨가고 있다.

출처: 엔비디아 뉴스룸 · 더 많은 AI 도구·활용법은 aitoolspick.net에서 확인하세요.

원문: 엔비디아 뉴스룸 (2026-08-24) · 본 글은 출처 기사를 근거로 AI툴즈픽이 자체 작성한 요약·해설입니다.

관련 도구