一个仅有10人的小团队，竟然敢挑战科技巨头Meta的地位，这简直就是现实版的"大卫战胜歌利亚"!
这个名叫Nous Research的初创公司可不是什么无名之辈。他们刚刚推出的Hermes3，是基于Llama3.1的405B模型微调而成的。别看团队人数少，但他们的实力可不容小觑。这个"十人天团"已经成功微调了Mistral、Yi、Llama等多个模型，下载量突破3300万次，简直就是AI界的"爆款制造机"!
Hermes3的出现，就像是给AI世界注入了一剂强心针。即便在FP8量化后，它的性能依然强劲得让人咂舌。这种优化不仅大幅降低了模型的VRAM和磁盘需求，还让Hermes3能够在单个节点上运行，简直就是开发者的福音!
在对话能力上，Hermes3简直就是个多面手。无论是长期记忆、多轮对话、角色扮演还是内部独白，它都能游刃有余。多亏了Llama3.1的128K上下文窗口，Hermes3在保持对话连贯性方面简直就像是个经验丰富的外交官。
但Hermes3的能耐可不止于此。它展示了一系列超越传统语言建模的高级能力，能够以精细且微妙的方式理解并评估生成文本的质量。这意味着它不仅能说会道，还能当个严格的文字评论家!
更令人惊叹的是，Hermes3还集成了几项智能体能力，包括结构化输出、输出中间步骤、生成内部独白以实现透明决策等。这就好比给AI装上了一个"透明大脑"，让我们能够一窥它的思考过程。
Hermes3的训练过程堪称是一场AI界的"魔鬼训练"。它经历了监督微调（SFT）和直接偏好优化(DPO)两个阶段。团队花了整整5个月的时间来筛选和构建SFT数据集，这种专注和耐心简直让人肃然起敬。
Nous Research这家成立于2023年的私人应用研究小组，总部位于纽约，简直就是AI界的"蛮族入侵者"。他们坚信开源的力量，誓要挑战封闭技术的创新限制。公司的口号响亮得让人热血沸腾:"我们挑战封闭技术将永远占据创新顶峰的假设，相反，我们提供强大的开源代码。"
短短一年多的时间里，Nous Research就发布了5个数据集和89个模型，这种高产似乎在向世人宣告:大小并不重要，实力才是王道!
论文地址：https://nousresearch.com/wp-content/uploads/2024/08/Hermes-3-Technical-Report.pdf
官方介绍：https://nousresearch.com/freedom-at-the-frontier-hermes-3/