GPT-2 是 OpenAI 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 GPT-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。
据 Tom's Hardware 今日报道，前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT-2，其成本降到了每小时仅 28 美元（当前约 204 元人民币），在短短 5 年内降低了近 90%。
图源 Pixabay
成本降低的主要因素，则是其使用了单个 8XH100 节点进行训练。此外，Andrej Karpathy 表示，llm.c 直接实现了 GPT 训练。“由于 llm.c 是用 C / CUDA 直接实现的 GPT 训练，因此其要求非常之低 —— 不需要 conda 环境、Python 解释器、pip 安装等。你只需启动一个云 GPU 节点，选择性地安装 NVIDIA cuDNN、NCCL / MPI，下载.bin 数据分片，编译并运行，几分钟内就能开始。”
他补充说：“然后等待 24 小时（28*24=672），就能生成关于‘安第斯山脉中会说英语的独角兽’的样本。”
据悉，llm.c 项目最初是作为一个教育视频的一部分，但很快变成了 Karpathy 在遇到一些 PyTorch 问题后从头开始构建的项目。
然而报道认为，硬件、软件和训练数据的进步并不意味着尖端 AI 训练的成本在下降。例如，Anthropic CEO Dario Amodei 近期就表示，当前正在开发的 AI 模型可能需要 10 亿美元的训练成本，预计到 2025 年成本更高的模型将达到 1000 亿美元。
硬件性能的提高也伴随着成本的上涨。例如，英伟达 H100 芯片的单价为 4 万美元，下一代 Blackwell AI 芯片的预计售价则可能达到 7 万美元。但即便如此，谷歌 Deepmind CEO 曾表示，当前模型的智商水平仍然仅仅相当于一只猫。