腾讯推出 Hunyuan-Large 大模型:389B 总参数,业界已开源基于 Transformer 的最大 MoE 模型

腾讯宣布推出 Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B)。

腾讯推出 Hunyuan-Large 大模型:389B 总参数,业界已开源基于 Transformer 的最大 MoE 模型

腾讯在 Hugging Face 开源了 Hunyuan-A52B-Pretrain 、 Hunyuan-A52B-Instruct 和 Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册,详细介绍了模型能力和训练与推理的操作。

其中模型技术优势如下:

  • 高质量合成数据:通过合成数据增强训练,Hunyuan-Large 能够学习到更丰富的表示,处理长上下文输入,并更好地泛化到未见数据
  • KV 缓存压缩:采用分组查询注意力(GQA)和跨层注意力(CLA)策略,显著减少了 KV 缓存的内存占用和计算开销,提高了推理吞吐
  • 专家特定学习率缩放:为不同专家设置不同的学习率,确保每个子模型都能有效地从数据中学习,并为整体性能做出贡献
  • 长上下文处理能力:预训练模型支持高达 256K 的文本序列,Instruct 模型支持 128K 的文本序列,显著提升了长上下文任务的处理能力
  • 广泛的基准测试:在多种语言和任务上进行广泛实验,验证了 Hunyuan-Large 的实际应用效果和安全性

附相关链接如下:

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
头条资讯

重庆市:目标到 2027 年将机器人广泛应用于经济社会各领域

2024-11-6 0:02:47

资讯

超越 OCR,谷歌 AI 技术 InkSight 可精准识别手写文字

2024-11-6 1:14:10

搜索