미국 2026년 9월 16일 AI 브리핑: MLPerf v6.1이 Agent·RAG·API 시스템을 새 표준으로 끌어올리고 Vera Rubin·AMD 512 GPU가 인프라 경쟁을 재정의

핵심 요약

조사 기준 시각: 한국시간 2026-09-17 06:38:27 KST (Asia/Seoul, UTC+09:00) / 미국 동부 2026-09-16 17:38:27 EDT (America/New_York, UTC-04:00) / 미국 서부 2026-09-16 14:38:27 PDT (America/Los_Angeles, UTC-07:00) / UTC 2026-09-16 21:38:27. [확인] 지정 Google Drive의 직전 발행 대기 문서는 gpt_20260917_044208_001.docx였으며 미국 AI Incident Reporting Act와 DFC의 AI 인프라 금융을 다뤘다. 이번 실행에서 MLPerf, Vera Rubin, Inference v6.1을 지정 폴더에서 검색했으며 기존 보고서에 동일 사건이 없어 당일 누락 보강으로 채택했다. [확인] MLCommons는 2026년 9월 16일 MLPerf Inference v6.1을 공개했다. 이번 round는 record-high 30개 조직의 제출을 받았고 End-to-End Retrieval-Augmented Generation(RAG)와 Edge Agentic Inference라는 두 새로운 테스트를 추가했다. 또한 NVIDIA Rubin·Vera Rubin NVL72는 preview, AMD Instinct MI350P와 Ryzen AI Max+ 395, Intel Arc Pro B70은 available platform으로 첫 결과가 공개됐다. MLCommons - MLPerf Inference v6.1 results [확인] 가장 중요한 구조적 변화는 benchmark의 측정단위가 단일 모델 호출에서 다단계 시스템으로 이동했다는 점이다. End-to-End RAG는 embedding→retrieval→re-ranking→LLM reasoning을 하나의 파이프라인으로 측정하고, Edge Agentic Inference는 이전 turn의 context가 누적되는 multi-turn agentic workload를 측정한다. Speculative Decoding도 GPT-OSS interactive scenario까지 지원범위를 넓혔다. [확인] MLCommons는 제출자의 50% 이상이 새로운 API-centric harness를 사용했다고 밝혔다. 이 harness는 true client/server architecture와 industry-standard API를 통해 query/result를 system under test와 주고받는다. 더 중요하게 MLCommons는 향후 datacenter용 MLPerf Endpoints가 기존 Inference를 대체할 것이라고 명시했다. [추론] 이 변화는 procurement KPI를 accelerator 단위 tokens/s에서 API로 호출되는 실제 workflow의 completion rate·latency·accuracy·system efficiency로 옮기는 신호다. 향후 model vendor와 chip vendor의 경쟁뿐 아니라 serving framework, KV cache, scheduler, network fabric, retrieval DB, API gateway, power/cooling까지 benchmarkable system boundary에 점점 들어올 가능성이 높다. [확인] NVIDIA는 Vera Rubin NVL72의 첫 MLPerf Inference v6.1 preview 결과를 공개했다. NVIDIA 자료 기준 Qwen3-VL에서 GB300 NVL72 대비 최대 3.7배, DeepSeek-R1에서 최대 2.5배 throughput을 제시했다. Qwen3-VL은 vLLM+NVIDIA Dynamo, DeepSeek-R1은 TensorRT-LLM을 사용했고 NVFP4, disaggregated prefill/decode, expert parallelism, NVLink 6를 핵심 요인으로 설명했다. NVIDIA - Vera Rubin NVL72 MLPerf Inference v6.1 [확인] NVIDIA GB300 NVL72는 DeepSeek-R1에서 72 GPU 1 rack에서 288 GPU 4 rack으로 확장했을 때 offline scenario에서 99% scaling efficiency를 기록했다. 이 결과는 scale-up·scale-out fabric과 request orchestration이 GPU 개수만큼 중요하다는 것을 보여준다. [주의] NVIDIA의 Vera Rubin 결과는 Preview availability다. MLCommons가 peer-reviewed result로 공개했지만 일반 상용가용성과 가격/TCO를 검증한 것은 아니다. 또한 NVIDIA가 별도로 제시한 SemiAnalysis AgentX 30배 수치는 MLPerf v6.1 결과가 아니라 외부 preview testing이므로 본 보고서에서는 MLPerf 성능과 분리한다. [확인] CoreWeave는 같은 날 multi-rack NVIDIA Vera Rubin NVL72를 CoreWeave Cloud에서 bring-up했다고 발표했다. 수백 개 Rubin GPU를 하나의 scale-out cluster로 연결하고 Spectrum-6 Ethernet, NVLink 6, ConnectX-9, BlueField-4를 사용한다. CoreWeave는 Racky·Valvey·Rack LifeCycle Controller로 compute뿐 아니라 power, liquid cooling, environmental sensing까지 software-defined lifecycle로 관리한다고 설명했다. CoreWeave - Multi-Rack Vera Rubin CoreWeave technical blog [추론] benchmark와 CoreWeave 배포를 연결하면 NVIDIA의 moat는 GPU die 하나보다 rack-scale system + interconnect + serving software + operating discipline으로 이동한다. agentic workload는 repeated model call과 tool use 때문에 network·storage·KV-cache·scheduling latency가 누적되므로 시스템 경계가 커질수록 full-stack vendor와 specialized AI cloud의 중요성이 높아진다. [확인] AMD도 MLPerf v6.1에서 같은 MI355X hardware의 소프트웨어 개선을 수치화했다. AMD 공식자료 기준 8-GPU GPT-OSS-120B는 이전 round 대비 Offline 28%, Server 38% throughput이 증가했고 Wan-2.2 SingleStream은 70% 개선됐다. 72 MI355X GPU는 이전 round의 94 GPU보다 높은 GPT-OSS throughput을 냈다. AMD - MLPerf Inference 6.1 [확인] Crusoe의 512 MI355X GPU 제출은 MLPerf Inference 역사상 가장 큰 accelerator count였다. AMD가 공개한 결과는 GPT-OSS-120B에서 Offline 5.75M tokens/s·Server 5.39M tokens/s, DeepSeek-R1에서 Offline 2.90M·Server 2.41M tokens/s다. AMD의 72-GPU GPT-OSS scale efficiency는 Offline·Server 모두 95%로 제시됐다. [확인] AMD는 Dell·Oracle·HPE·Supermicro·MangoBoost·Crusoe·MiTAC 등 7개 partner가 결과를 제출했으며 comparable MI355X partner results가 평균 4% 이내라고 밝혔다. Dell+MangoBoost는 16 MI300X(Korea)+16 MI355X(United States)를 하나의 GPT-OSS serving endpoint로 묶은 32-GPU heterogeneous result도 제출했다. MLCommons도 이번 round에 multi-vendor heterogeneous system과 Pacific Ocean을 가로지르는 geographically distributed system이 포함됐음을 공식 확인했다. [추론] AMD가 보여준 가장 중요한 신호는 silicon refresh가 아니라 software velocity다. 동일 hardware의 유효 throughput이 한 round 사이 크게 올라가면 AI infrastructure ROI 계산에서 구매시점 성능뿐 아니라 compiler/kernel/runtime의 개선속도와 partner reproducibility가 별도 가치가 된다. [주의] AMD의 NVIDIA 대비 비교는 MLPerf Closed division 기반이라 모델·규칙 비교가능성이 높지만 모든 시스템 구성·가격·전력·availability가 동일한 것은 아니다. selected NVIDIA submission을 기준으로 한 vendor 비교를 시장 전체의 절대 우열로 확대하면 안 된다. [확인] 공개 GitHub의 mlcommons/inference repository는 v6.1 submission deadline July 31, 2026과 v6.1 seed release 이후 master commit 사용 규칙을 명시하고 있다. 이는 benchmark reference implementation이 공개 코드로 재현 가능한 구조임을 확인해준다. GitHub - mlcommons/inference [확인] 이번 조사에서 MLCommons·NVIDIA·AMD의 v6.1 발표에 직접 연결되는 검증 가능한 공식 YouTube 영상 또는 X 원문 게시물은 안정적으로 확보하지 못했다. MLCommons 공식 페이지에는 X·YouTube 채널 링크가 있지만 이번 release의 특정 게시물까지 확인하지 않았으므로 SNS/영상 반응을 확인한 것처럼 쓰지 않는다.

핵심 사건 종합표

순위	분류	핵심 사건	최초 출처	연관 출처 체인	발생 시각과 미국 현지 날짜	핵심 사실	후속 전개	왜 중요한가	숨은 의미·비하인드 해석	담당자·관련 인물	수혜자	불리한 측	기술·사업 영향	다음 신호	신뢰도	검증 상태	원문 링크
1	AI Benchmark·Agentic Systems·RAG	MLPerf Inference v6.1이 End-to-End RAG·Edge Agentic Inference·API-centric harness를 도입	MLCommons 2026-09-16	공식 release → public GitHub reference → 30개 조직·486 results → API harness 50%+ adoption → MLPerf Endpoints로 datacenter benchmark 전환 예고	미국 2026-09-16, 공식 게시 시각 미공개	단일 모델이 아니라 multi-model RAG와 multi-turn agent workload를 측정; 512 accelerator·heterogeneous·cross-Pacific system 포함	Endpoints가 datacenter Inference를 대체할 예정	AI 구매의 평가단위가 chip/model에서 API-served workflow·system으로 이동	[추론] benchmark가 serving framework·network·retrieval·orchestration을 경쟁영역으로 끌어들이며 full-stack 최적화의 가치가 커짐	Miro Hodak, Frank Han, David Kanter, MLPerf Inference WG	enterprise buyers, independent benchmark users, serving/runtime vendors	single-model microbenchmark marketing에만 의존하는 vendor	agent/RAG workload의 latency·accuracy·throughput을 공통규칙으로 비교 가능	MLPerf Endpoints 공개일정·Agentic datacenter benchmark·power metrics·API harness adoption 증가	매우 높음	확인: MLCommons 공식 + 공개 GitHub	MLCommons / GitHub
2	NVIDIA·AI Factory·Rack-scale Inference	Vera Rubin NVL72 첫 MLPerf preview + CoreWeave multi-rack Rubin bring-up	NVIDIA·CoreWeave 2026-09-16	MLPerf preview → vLLM/Dynamo·TensorRT-LLM → NVFP4·disaggregated serving → GB300 288-GPU 99% scaling → CoreWeave 수백 GPU multi-rack production bring-up	미국 2026-09-16, 공식 게시 시각 미공개	Qwen3-VL 최대 3.7x, DeepSeek-R1 최대 2.5x vs GB300 NVL72; CoreWeave는 수백 Rubin GPU를 하나의 scale-out cluster로 구성	Spectrum-6, ConnectX-9, BlueField-4, liquid cooling·power를 software-defined lifecycle로 관리	agentic inference의 실제 병목이 GPU뿐 아니라 network·storage·cooling·scheduler에 있다는 증거	[추론] NVIDIA moat가 accelerator에서 NVLink/network/Dynamo/operational stack까지 확장; neocloud가 검증·운영 capability로 차별화	Zhihan Jiang, CoreWeave infra team, NVIDIA ecosystem	NVIDIA, CoreWeave, Nebius, AI factory operators	commodity interconnect·GPU-only value proposition	rack-scale serving economics·scale efficiency·agentic latency 최적화 강화	Rubin Available-category MLPerf, 상용가격, power/token, multi-rack SLA, customer workload	높음	확인: NVIDIA/MLCommons/CoreWeave; Preview availability 주의	NVIDIA / CoreWeave
3	AMD·ROCm·Distributed Inference	동일 MI355X에서 software-only throughput 개선 + Crusoe 512-GPU record scale	AMD·MLCommons 2026-09-16	v6.0→v6.1 same hardware improvement → 72 GPU 95% scale efficiency → Crusoe 512 GPU → 7 partner reproducibility → Korea-US heterogeneous endpoint	미국 2026-09-16, 공식 게시 시각 미공개	GPT-OSS 8 GPU Offline +28%, Server +38%; Wan SingleStream +70%; 512 GPU GPT-OSS Offline 5.75M tokens/s	multi-vendor/geo-distributed serving까지 MLPerf round에 포함	NVIDIA 대항 경쟁력이 silicon spec뿐 아니라 ROCm·open source runtime 개선속도로 측정되기 시작	[추론] hardware 구매후 성능이 software cadence로 계속 상승하는 정도가 ROI·vendor selection 핵심변수로 부상	AMD Instinct/ROCm teams, Crusoe, Dell, MangoBoost, HPE, Oracle, Supermicro, MiTAC	AMD ecosystem, heterogeneous fleet operators, 기존 datacenter	software ecosystem이 느린 accelerator vendor	software velocity·partner reproducibility·cross-generation pooling이 구매평가 요소화	다음 ROCm round-over-round gain, MI455X Endpoints submission, heterogeneous SLA·network overhead	높음	확인: AMD 공식 + MLCommons; vendor-selected 상대비교는 주의	AMD / MLCommons

1. MLPerf Inference v6.1 — benchmark가 모델에서 Agent·RAG·API 시스템으로 이동 — 연관 추적

① 최초 신호

[확인] MLCommons는 9월 16일 Inference v6.1 release에서 benchmark가 production inference의 실제 변화를 따라가야 한다고 명시했다. 신규 End-to-End RAG와 Edge Agentic Inference가 이를 직접 반영한다.

② 공식 확인

[확인] MLCommons 공식 release는 30개 조직의 record participation, 다섯 새 processor/platform, 512 accelerator 최대규모 submission, 두 heterogeneous system, API-centric harness 50%+ adoption을 공개했다. 향후 MLPerf Endpoints가 datacenter Inference를 대체한다고도 명시했다.

③ 후속 기사와 반응

[확인] StorageReview는 이번 round가 486 datacenter/edge results를 포함하고 End-to-End RAG·Edge Agentic test가 실제 multi-component pipeline과 coding-agent replay를 benchmark에 넣었다고 분석했다. 업계 해설도 성능 비교단위가 isolated model에서 pipeline·serving system으로 커졌다는 점을 공통적으로 강조한다. StorageReview - MLPerf Inference v6.1

④ 담당자·연구자·개발자 발언

[확인] MLPerf Inference working group co-chair Miro Hodak는 query-answering이 단순 LLM에서 multi-step, multi-component pipeline으로 바뀌었고 edge에서도 complex agentic system이 늘어 실제 workload를 반영할 필요가 있다고 설명했다. David Kanter는 API-centric harness의 빠른 채택이 Endpoints 전환을 원활하게 할 것이라고 밝혔다.

⑤ SNS·YouTube·GitHub 등에서 드러난 추가 단서

[확인] github.com/mlcommons/inference는 v6.1을 공식 benchmark version으로 표시하고 v6.1 seed release 이후 master commit을 submission 기준으로 사용하도록 공개한다. 이번 조사에서는 release와 직접 연결되는 검증 가능한 특정 MLCommons YouTube/X 게시물을 확보하지 못해 영상·SNS 조회수나 반응을 만들어 쓰지 않았다.

⑥ 실제 제품·기술·정책 변화

[확인] benchmark scope에 End-to-End RAG와 Edge Agentic Inference가 실제 추가됐고 speculative decoding의 GPT-OSS interactive support도 확대됐다. 50% 이상 submitter가 client/server API harness를 사용했다는 점은 benchmark가 실제 service boundary를 측정하는 방향으로 이동했음을 보여준다.

⑦ 숨은 의미와 비하인드

[추론] 지금까지 vendor는 특정 model·precision·batch size에서 accelerator throughput을 강조해왔다. 하지만 agent는 context가 누적되고 retrieval·tool call·multiple model call이 반복되기 때문에 단일 kernel 성능이 사용자 latency를 설명하지 못한다. Endpoints 전환은 GPU benchmark → AI service benchmark로의 구조적 이동이다. [추론] 이 기준이 산업표준으로 자리잡으면 vector DB, scheduler, router, KV-cache, API gateway, NIC/switch, storage, power-aware orchestration이 procurement scoring의 일부로 들어올 수 있다. 이는 chip 회사가 아니라 complete serving stack을 가진 기업에 유리하다.

⑧ 반대 근거와 과장 가능성

[확인] MLPerf는 representative benchmark이지 모든 실제 agent workload를 재현하지 않는다. 특히 enterprise proprietary tool chain, dynamic web access, long-horizon autonomy, real user concurrency를 완전히 대신하지 못한다. benchmark 점수가 실제 애플리케이션 비용·품질을 자동으로 보장하지 않는다.

⑨ 향후 예상되는 다음 행동과 확인해야 할 신호

MLPerf Endpoints의 정식 launch와 rolling submission cadence, datacenter Agentic benchmark, agent task success·latency·cost·power의 동시 측정 여부, tool/network access가 benchmark scope에 들어오는지, API harness가 50%에서 사실상 표준으로 굳는지를 확인해야 한다.

2. NVIDIA Vera Rubin + CoreWeave multi-rack — rack-scale 운영이 제품이 된다 — 연관 추적

① 최초 신호

[확인] NVIDIA는 Vera Rubin NVL72를 MLPerf Inference v6.1의 Preview availability로 제출했다. MLCommons도 Vera Rubin NVL72를 이번 round의 first peer-reviewed preview platform 가운데 하나로 확인했다.

② 공식 확인

[확인] NVIDIA는 Qwen3-VL 최대 3.7x, DeepSeek-R1 최대 2.5x throughput vs GB300 NVL72를 발표했다. GB300 4-rack 288-GPU DeepSeek-R1 offline은 99% scaling efficiency를 기록했다.

③ 후속 기사와 반응

[확인] CoreWeave는 같은 날 multi-rack Vera Rubin NVL72를 cloud에 bring-up했다고 발표하며 수백 GPU를 one scale-out cluster로 운영한다고 밝혔다. 일부 시장 기사에서 CoreWeave 주가 상승이 함께 언급됐지만 단일 발표의 인과를 분리하기 어려워 본 보고서의 핵심검증 근거로 사용하지 않았다.

④ 담당자·연구자·개발자 발언

[확인] NVIDIA는 full-stack codesign, NVFP4, prefill/decode 분리, expert parallelism이 결과의 핵심이라고 설명했다. CoreWeave는 multi-rack에서 slow GPU, marginal link, cooling anomaly 하나가 cluster-wide straggler가 될 수 있어 compute·network·power·cooling을 하나의 health domain으로 관리해야 한다고 설명했다.

⑤ SNS·YouTube·GitHub 등에서 드러난 추가 단서

[확인] 이번 실행에서 Vera Rubin v6.1 release에 직접 연결되는 공식 YouTube/X 원문은 안정적으로 확인하지 못했다. NVIDIA가 사용하는 vLLM과 Dynamo는 공개 software ecosystem이지만 본 보고서는 개별 GitHub commit까지 Vera Rubin benchmark와 직접 인과 연결하지 않았다.

⑥ 실제 제품·기술·정책 변화

[확인] CoreWeave의 multi-rack bring-up은 benchmark보다 운영단계에 가까운 증거다. 자동 firmware/config validation, Racky, Valvey, liquid-cooling control, two-tier non-blocking multi-rail/multi-plane RoCE fabric, GPU당 최대 1.6Tb/s backend network design이 공개됐다.

⑦ 숨은 의미와 비하인드

[추론] agentic AI에서는 한 요청이 여러 inference step과 tool interaction으로 증폭되므로 tail latency와 infrastructure variance가 단일 throughput보다 중요해진다. Rubin의 business value도 GPU peak FLOPS보다 rack as one machine의 안정성과 agent loop당 latency/energy가 결정할 가능성이 높다. [추론] specialized AI cloud의 가치도 단순 GPU resale에서 빠른 generation bring-up, cooling/network automation, straggler detection, software-defined rack operations로 이동한다. 이 capability는 hyperscaler가 아닌 CoreWeave 같은 neocloud의 moat가 될 수 있다.

⑧ 반대 근거와 과장 가능성

[확인] Vera Rubin MLPerf 결과는 Preview이고 상용가격·대규모 고객 SLA·실제 평균 utilization은 공개되지 않았다. NVIDIA의 3.7x는 특정 workload·scenario 비교다. CoreWeave가 multi-rack을 online했다고 해서 모든 고객에게 즉시 일반가용 용량이 충분하다는 뜻도 아니다.

⑨ 향후 예상되는 다음 행동과 확인해야 할 신호

Vera Rubin이 다음 MLPerf round에서 Available category로 제출되는지, 실제 cloud pricing, tokens/$와 tokens/W, cross-rack tail latency, reinforcement-learning/post-training workload SLA, Spectrum-6 network failure handling, Rubin customer deployment 규모를 봐야 한다.

3. AMD·Crusoe — 같은 hardware를 더 빠르게 만드는 software velocity가 수치화 — 연관 추적

① 최초 신호

[확인] AMD는 v6.1을 자사 역사상 가장 broad한 MLPerf Inference submission이라고 발표했다. 동일 MI355X hardware에서 이전 round보다 큰 성능향상이 나온 점을 첫 번째 proof point로 제시했다.

② 공식 확인

[확인] 8 MI355X의 GPT-OSS-120B가 Offline +28%, Server +38%, Wan-2.2 SingleStream +70% 개선됐고 72 GPU가 이전 round 94 GPU보다 높은 GPT-OSS throughput을 냈다. 72 GPU scaling efficiency는 95%다.

③ 후속 기사와 반응

[확인] Futurum은 이 결과의 핵심을 ROCm software velocity를 측정 가능한 수치로 바꿨다고 평가했다. 같은 hardware에서 round-over-round 성능이 오르면 hardware 구매 후 유효 capacity가 software update로 증가한다는 의미다. Futurum - AMD MLPerf Inference 6.1

④ 담당자·연구자·개발자 발언

[확인] AMD 공식 블로그는 partner reproducibility와 deployment flexibility를 강조했다. 7개 partner의 comparable MI355X results가 평균 4% 이내라는 점을 vendor reference system을 넘어선 재현성 근거로 제시했다.

⑤ SNS·YouTube·GitHub 등에서 드러난 추가 단서

[확인] 공개 MLCommons reference repo와 AMD ecosystem 자료는 benchmark 재현경로를 제공하지만 이번 round와 직접 연결되는 검증 가능한 AMD 공식 YouTube/X 게시물을 확인하지 못했다. 소셜상의 단편적 성능비교는 채택하지 않았다.

⑥ 실제 제품·기술·정책 변화

[확인] Crusoe는 512 MI355X GPU로 GPT-OSS와 DeepSeek-R1을 제출했다. Dell+MangoBoost의 Korea-US 32-GPU heterogeneous serving endpoint는 세대와 지역이 다른 GPU pool을 하나의 service로 묶는 가능성을 benchmark에 넣었다.

⑦ 숨은 의미와 비하인드

[추론] accelerator 구매결정은 이제 day-1 benchmark만 보면 불충분하다. 같은 silicon에서 6개월 뒤 runtime·kernel·scheduler 개선으로 몇 % 더 capacity를 얻는지, partner stack에서도 얼마나 재현되는지, 기존 세대 GPU와 pooling할 수 있는지가 TCO에 직접 들어간다. [추론] 이는 AMD에 유리한 경쟁축이다. NVIDIA의 강점이 full-stack maturity라면 AMD는 software catch-up rate를 공개 benchmark cadence로 증명해야 한다. v6.1은 그 추세의 한 datapoint이지 장기 승리를 의미하지는 않는다.

⑧ 반대 근거와 과장 가능성

[확인] AMD의 NVIDIA 대비 상대수치는 selected submissions 비교이며 system form factor, power, network, availability와 가격이 모두 같지 않다. 512 GPU aggregate throughput도 per-dollar 또는 per-watt 우위를 자동으로 뜻하지 않는다.

⑨ 향후 예상되는 다음 행동과 확인해야 할 신호

ROCm 다음 release의 동일 hardware gain, MI455X의 MLPerf Endpoints 제출, 512-GPU production customer SLA, heterogeneous cross-region serving에서 network overhead·failure recovery, partner reproducibility가 계속 4% 내외로 유지되는지를 확인해야 한다.

① 오늘의 핵심 흐름

이번 실행의 핵심은 새로운 model release가 아니라 AI 성능을 무엇으로 재는가가 바뀐 것이다. MLPerf가 RAG·agentic·API-centric serving을 공식 benchmark scope에 넣으면서 업계 성능경쟁의 단위가 GPU 한 장/모델 한 번 호출에서 workflow를 끝까지 처리하는 시스템으로 이동하고 있다. 인프라 경쟁도 같은 방향이다. NVIDIA는 Vera Rubin+NVLink+serving software+cloud operations, AMD는 same-hardware ROCm improvement+partner reproducibility+heterogeneous pooling으로 서로 다른 full-stack 경로를 보여준다.

② 새로운 출시·업데이트

MLPerf Inference v6.1이 공개됐고 End-to-End RAG·Edge Agentic Inference가 새로 추가됐다. NVIDIA Vera Rubin NVL72의 첫 Preview result가 공개됐으며 CoreWeave는 multi-rack Rubin cluster bring-up을 발표했다. AMD는 MI350P의 첫 MLPerf round와 MI355X/MI350X의 expanded submission을 공개했다. 이번 증분 검색에서는 직전 보고서를 대체할 새로운 OpenAI·Anthropic·Google DeepMind·Meta·Microsoft flagship foundation model/API launch를 확인하지 못했다. 확인되지 않은 출시를 만들어 채우지 않았다.

③ 핵심기술·연구

핵심기술은 speculative decoding, disaggregated prefill/decode, expert parallelism, NVFP4, API-centric client/server harness, multi-model RAG pipeline, growing-context agentic workload, heterogeneous accelerator serving다. 이번 round는 이 기술들이 연구 아이디어가 아니라 비교·조달 가능한 engineering metric으로 이동했음을 보여준다.

④ 기업·담당자·조직 신호

MLCommons는 Endpoints를 datacenter benchmark의 다음 기본형으로 명시했다. NVIDIA는 chip보다 platform fungibility와 rack-scale codesign을 강조하고, CoreWeave는 compute·network·power·cooling을 하나의 software lifecycle로 운영한다. AMD는 동일 silicon의 software uplift와 7개 partner reproducibility를 전면에 내세웠다.

⑤ SNS·YouTube에서 포착된 신호

이번 release와 직접 연결되는 검증 가능한 공식 X/YouTube 원문을 안정적으로 확보하지 못했다. MLCommons 공식 페이지는 X·YouTube 채널을 연결하고 있으나 특정 v6.1 게시물의 게시시각·조회수·내용을 직접 확인하지 않았으므로 SNS 반응을 추정하지 않는다. 공개 GitHub mlcommons/inference의 v6.1 기준은 확인했다.

⑥ 약한 신호와 향후 조짐

[추론] benchmark에서 API boundary가 표준이 되면 inference provider가 hardware vendor보다 더 중요한 비교대상이 될 수 있다. 동일 accelerator라도 scheduler·batching·KV-cache·network topology·power policy에 따라 endpoint 성능이 크게 달라지기 때문이다. [추론] Agent benchmark가 datacenter까지 확대되면 tokens/sec만이 아니라 task/sec, success@latency, tool-call overhead, energy/task, failure-recovery time 같은 지표가 등장할 가능성이 높다. 이는 agent platform과 cloud infrastructure를 직접 비교하는 시장을 만든다.

⑦ 과장·루머·주의 항목

Vera Rubin의 headline 수치는 Preview result다. NVIDIA의 SemiAnalysis AgentX 30x는 MLPerf 공식결과와 분리해야 한다. AMD의 512-GPU record는 aggregate throughput이지 자동적인 cost/Watt 우위가 아니다. MLPerf 자체도 실제 모든 enterprise workload를 대체하지 않는다.

⑧ 사용자가 반드시 알아야 할 것

AI 인프라를 평가할 때 앞으로는 GPU 모델명만 비교하지 않는 것이 중요하다. 최소한 workload type → accuracy gate → API/server mode → software stack → scale efficiency → network → power/cooling → partner reproducibility → cost/token 또는 cost/task까지 같이 봐야 한다. 특히 agentic AI는 한 사용자 요청이 여러 model call과 retrieval/tool interaction으로 증폭되므로 작은 latency·error·network stall이 전체 task 비용에 반복 누적된다. agent 시대의 인프라 경쟁은 peak FLOPS보다 반복 실행 루프를 얼마나 안정적으로 처리하는가로 이동한다.

⑨ 누락 가능성과 탐색 한계

이번 조사는 MLCommons 공식 release, 공개 GitHub reference repository, NVIDIA·AMD·CoreWeave 공식자료와 StorageReview·Futurum 등 독립 해설을 확인했다. MLCommons results dashboard의 모든 486개 submission을 개별 재계산하지 않았고 vendor별 TCO·전력·가격도 일괄 공개되지 않았다. 공식 X/YouTube 특정 게시물은 검색환경에서 안정적으로 확보하지 못했다. 소셜반응과 조회수를 확인한 것처럼 쓰지 않았다. 공식 발표 시각은 일부 페이지에서 공개되지 않아 임의 시각을 채우지 않고 시각 미공개로 처리했다.

참고 자료와 작성 정보

조사·작성 기준 시각: 2026-09-17 06:38:27 KST / 2026-09-16 17:38:27 EDT / 2026-09-16 14:38:27 PDT / 2026-09-16 21:38:27 UTC. 주요 직접출처: MLCommons MLPerf Inference v6.1 results; GitHub mlcommons/inference; NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut; CoreWeave Brings Up Multi-Rack NVIDIA Vera Rubin NVL72 Cluster 및 technical blog; AMD Delivers Its Broadest MLPerf Inference 6.1 Submission. 보조 교차검증: StorageReview, Futurum. 이 브리핑은 AI의 도움으로 공개 자료를 조사·정리했습니다. 확인된 사실과 추론, 미확인 내용을 구분해 표시했습니다.