微软首席技术官（CTO）凯文・斯科特（Kevin Scott）上周在接受红杉资本旗下播客采访时，重申了他坚信大型语言模型 (LLM) 的“规模定律”将继续推动人工智能进步的观点，尽管该领域一些人怀疑进步已经停滞。斯科特在推动微软与 OpenAI 达成 130 亿美元的技术共享协议方面发挥了关键作用。
斯科特表示：“其他人可能持不同观点，但我认为规模化并未达到边际收益递减的临界点。我想让人们理解这里存在着一个指数级提升的过程，遗憾的是，你只能每隔几年才能看到一次，因为建造超级计算机然后用它们训练模型都需要时间。”
2020 年，OpenAI 研究人员探索了 LLM 的“规模定律”，该定律表明，随着模型变得更大（参数更多）、训练数据更多以及拥有更强大的计算能力，语言模型的性能往往会呈可预测的提升。这一定律意味着，仅仅增加模型规模和训练数据，就能够显著提升人工智能能力，而无需取得根本性的算法突破。
然而，此后也有其他研究人员对“规模定律”的长期有效性提出质疑。不过，该概念仍是 OpenAI 人工智能研发理念的基石。斯科特所持的乐观态度与部分人工智能领域批评人士的观点形成鲜明对比，一些人认为，大型语言模型的进步在类似 GPT-4 的模型级别已经停滞不前。这种观点主要基于对谷歌 Gemini 1.5 Pro、Anthropic 的 Claude Opus 以及 OpenAI 的 GPT-4o 等最新模型的非正式观察和一些基准测试结果。一些人认为，这些模型并没有像前几代模型那样取得飞跃性的进步，大型语言模型的发展可能正在接近“边际收益递减”的阶段。
人工智能领域著名批评人士 Gary Marcus 在今年 4 月写道：“GPT-3 明显优于 GPT-2，GPT-4（发布于 13 个月前）也明显强于 GPT-3。但之后呢？”
斯科特所持的立场表明，像微软这样的科技巨头仍然认为投资大型人工智能模型是合理的，他们押注于持续取得突破。考虑到微软对 OpenAI 的投资以及大力营销自家的人工智能协作工具“Microsoft Copilot”，该公司强烈希望维持人工智能领域持续进步的公众认知，即使技术本身可能遇到瓶颈。
另一位人工智能领域知名批评人士 Ed Zitron 最近在其博客上写道，有些人支持继续投资生成式人工智能的一个理由是，“OpenAI 掌握着我们不知道的某种技术，一项强大而神秘的技术，能够彻底击溃所有怀疑者的质疑。”他写道，“但事实并非如此。”
公众对大型语言模型能力提升放缓的认知，以及基准测试的结果，部分原因可能在于人工智能最近才进入公众视野，而事实上，大型语言模型已经发展多年。OpenAI 在 2020 年发布 GPT-3 之后的三年中一直持续研发大型语言模型，直到 2023 年发布 GPT-4。许多人可能是在 2022 年底利用 GPT-3.5 开发的聊天机器人 ChatGPT 上线后才开始意识到类似 GPT-3 的模型的强大功能，因此在 2023 年 GPT-4 发布时才会觉得能力提升巨大。
斯科特在采访中反驳了人工智能进步停滞的观点，但他同时也承认，由于新模型往往需要数年才能开发，因此该领域的数据点更新的确较慢。尽管如此，斯科特仍然对未来版本的改进充满信心，尤其是在当前模型表现不佳的领域。
“下一个突破即将到来，我无法确切地预测它何时出现，也不知道它会取得多大的进步，但它几乎肯定会改善目前那些不够完善的方面，比如模型的成本过高或过于脆弱，让人难以放心使用，”斯科特在采访中表示，“所有这些方面都会得到改善，成本会降低，模型会变得更加稳定。届时，我们将能够实现更加复杂的功能。这正是每一代大型语言模型通过规模化所取得的成就。”