曾几何时,英伟达用于人工智能计算的 H100 GPU 供不应求。然而据 Digitimes 报道,台积电的台湾地区总经理 Terence Liao 表示,过去几个月英伟达 H100 的交货等待时间已经大幅缩短,从最初的 3-4 个月降至目前的 2-3 个月(8-12 周)。服务器代工厂商也透露,相比 2023 年几乎无法买到英伟达 H100 的情况,目前供应瓶颈正在逐步缓解。
尽管交货等待时间有所缩短,Terence Liao 表示,对于人工智能硬件的需求仍然非常旺盛。即使价格昂贵,用于人工智能的服务器采购也正在取代通用服务器的采购。但他认为,交付周期太长正是导致需求看起来居高不下的主要原因。
目前 2-3 个月的交货等待时间是英伟达 H100 GPU 史上最短的。仅仅 6 个月之前,等待时间还长达 11 个月,大多数英伟达的客户需要等待将近一年的时间才能拿到他们订购的人工智能 GPU。
自 2024 年初以来,H100 GPU 交货等待时间一直在显著缩短。今年年初,等待时间就已经从最初的数月降至 3-4 个月。现在又进一步缩短了一个月。依这样的速度,到今年年底甚至更早,或许将不再需要等待。
导致这种情况变化的部分原因可能是,一些公司持有过剩的 H100 GPU 库存,并且为了降低闲置库存的高额维护成本而进行转售。此外,亚马逊云科技 (AWS) 方便了用户通过云端租赁英伟达 H100 GPU,这也帮助缓解了部分对 H100 的需求压力。
目前唯一仍在承受供应限制的英伟达客户是一些大型企业,例如 OpenAI,这类公司正在研发自己的大型语言模型 (LLM)。训练大型语言模型需要成千上万颗 GPU 才能快速高效地完成,因此这些公司仍然面临着供应瓶颈的挑战。