全球最大开源模型再刷爆纪录!4800亿参数MoE击败Llama 3、Mixtral

最大开源模型,再次刷爆纪录!Snowflake的Arctic,以128位专家和4800亿参数,成为迄今最大的开源模型。它的特点,是又大又稀疏,因此计算资源只用了不到Llama 3 8B的一半,就达到了相同的性能指标。(新智元)

搜索