-
开源大模型DBRX：1320亿参数，比Llama2-70B快1倍
大数据公司Databricks最近发布了一款名为DBRX的MoE大模型，引发了开源社区的热议。DBRX在基准测试中击败了Grok-1、Mixtral等开源模型，成为了新的开源之王。这款模型的总参数量达到了1320亿，但每次激活只有360亿参数，并且其生成速度比Llama2-70B快1倍。 DBRX是由16个专家模型组成，每次推理有4个专家处于激活状态，上下文长度为32K。为了训练DBRX，Data…- 1.3k
扫码打开当前页
-
￥優惠使用時效：无法使用使用時效：
之前
使用時效：预期有效优惠编号：×