英伟达发布新 AI 硬件:H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片

11 月 19 日消息,英伟达当地时间昨日在 SC24 超算大会上推出了 2 款新的 AI硬件,分别是 H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片

英伟达表示约七成的企业机架仅可提供不到 20kW 的电力供应,并采用空气冷却,而 PCIe AIC 形态的 H200 NVL 就是为这些环境推出的相对低功耗风冷 AI 计算卡。

英伟达发布新 AI 硬件:H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片

H200 NVL 为双槽厚度,最高 TDP 功耗从 H200 SXM 的 700W 降至 600W,各算力也均有一定下降(注:如 INT8 Tensor Core 算力下滑约 15.6% ),不过 HBM 内存容量和带宽是与 H200 SXM 相同的 141GB、4.8TB/s。

此外 H200 NVL PCIe GPU 支持双路或四路的 900GB/s 每 GPU 的 NVLink 桥接器互联。

英伟达表示 H200 NVL 内存容量是此前 H100 NVL 的 1.5 倍,带宽也达 1.2 倍,拥有 1.7 倍的 AI 推理性能,而在 HPC 应用中性能也高出 30%

英伟达此次还推出了面向单服务器解决方案的 GB200 NVL4 超级芯片,该模块聚合了 2 个 Grace CPU 和 4 个 Blackwell GPU,HBM 内存池容量达 1.3TB,相当于 2 组 GB200 Grace Blackwell 超级芯片,整体功耗自然也来到了 5.4kw。

相较于包含 4 个 Grace CPU 和 4 个 Hopper GPU 的上代 GH200 NVL4 系统,新的 GB200 NVL4 拥有 2.2 倍的模拟性能、1.8 倍的 AI 训练性能和 1.8 倍的 AI 推理性能

GB200 NVL4 超级芯片将于 2025 年下半年上市。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

北大清华等联合发布 LLaVA-o1:首个自发性视觉AI模型,推理计算 Scaling 新思路

2024-11-19 21:28:32

资讯

消息称腾讯杰出科学家、混元大模型技术负责人之一刘威离职

2024-11-19 21:31:13

搜索