阿里通义千问开源Qwen1.5-MoE-A2.7B模型

通义千问团队推出了 Qwen 系列的首个 MoE 模型,命名为 Qwen1.5-MoE-A2.7B。这个模型只有27亿个激活参数,但性能却与当前最先进的70亿参数模型相媲美。与 Qwen1.5-7B 相比,Qwen1.5-MoE-A2.7B 只有20亿个非嵌入参数,大约是原模型大小的三分之一。此外,相较于 Qwen1.5-7B,Qwen1.5-MoE-A2.7B 的训练成本降低了75%,推理速度提升了1.74倍。

阿里通义千问开源Qwen1.5-MoE-A2.7B模型

Qwen1.5-MoE 模型采用了特别设计的 MoE 架构。与传统 MoE 方法不同的是,Qwen1.5-MoE 使用了64个 finegrained experts,并引入了新的 routing 机制 DeepSeek-MoE 和 DBRX。这种 finegrained experts 设计的目的是在不增加参数数量的情况下生成更多 expert。Qwen1.5-MoE 模型在训练成本和推理效率方面表现出色,性能接近最先进的7B 模型。

Qwen1.5-MoE-A2.7B 模型拥有14.3亿激活参数和2亿非嵌入参数,训练成本降低了75%。在实验中,使用单个 NVIDIA A100-80G GPU 测试时,Qwen1.5-MoE-A2.7B 的推理速度提高了约1.74倍。Qwen1.5-MoE 模型已在 ModelScope 社区开源,可直接下载使用。

除了性能和效率,Qwen1.5-MoE 模型还将持续更新对第三方框架的支持,包括 llama.cpp、MLX 等。

总体来说,Qwen1.5-MoE 模型在性能、效率和推理速度方面取得了显著的优势,是推理训练的最佳实践之一。

Qwen1.5-MoE体验链接:

https://modelscope.cn/studios/qwen/qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4-demo

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

周鸿祎自称“开源信徒”:宣布将开源 360智脑 7B 模型,支持 50 万字长文本输入

2024-3-30 8:44:47

头条资讯

马斯克突然发布Grok 1.5!上下文长度飙升16倍和GPT-4齐平

2024-3-30 8:47:24

搜索