英伟达发布新 AI 硬件:H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片

11 月 19 日消息,Nvidia当地时间昨日在 SC24 超算大会上推出了 2 款新的 AI硬件,分别是 H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片.

英伟达表示约七成的企业机架仅可提供不到 20kW 的电力供应,并采用空气冷却,而 PCIe AIC 形态的 H200 NVL 就是为这些环境推出的相对低功耗风冷 AI 计算卡。

英伟达发布新 AI 硬件:H200 NVL PCIe GPU 和 GB200 NVL4 超级芯片

H200 NVL 为双槽厚度,最高 TDP 功耗从 H200 SXM 的 700W 降至 600W,各算力也均有一定下降(注:如 INT8 Tensor Core 算力下滑约 15.6% ),不过 HBM 内存容量和带宽是与 H200 SXM 相同的 141GB、4.8TB/s。

此外 H200 NVL PCIe GPU 支持双路或四路的 900GB/s 每 GPU 的 NVLink 桥接器互联。

英伟达表示 H200 NVL 内存容量是此前 H100 NVL 的 1.5 倍,带宽也达 1.2 倍,拥有 1.7 倍的 AI 推理性能,而在 HPC 应用中性能也高出 30%.

英伟达此次还推出了面向单服务器解决方案的 GB200 NVL4 超级芯片,该模块聚合了 2 个 Grace CPU 和 4 个 Blackwell GPU,HBM 内存池容量达 1.3TB,相当于 2 组 GB200 Grace Blackwell 超级芯片,整体功耗自然也来到了 5.4kw。

相较于包含 4 个 Grace CPU 和 4 个 Hopper GPU 的上代 GH200 NVL4 系统,新的 GB200 NVL4 拥有 2.2 倍的模拟性能、1.8 倍的 AI 训练性能和 1.8 倍的 AI 推理性能.

GB200 NVL4 超级芯片将于 2025 年下半年上市。

statement:The content is collected from various media platforms such as public websites. If the included content infringes on your rights, please contact us by email and we will deal with it as soon as possible.
Information

北大清华等联合发布 LLaVA-o1:首个自发性视觉AI模型,推理计算 Scaling 新思路

2024-11-19 21:28:32

Information

消息称腾讯杰出科学家、混元大模型技术负责人之一刘威离职

2024-11-19 21:31:13

Search