把GPT-3.5装进手机里?小模型爆发背后没什么神奇的魔法

AI界缩放定律认为数据越多、参数越大、算力越强,模型能力越强。但近期模型如Llama 3和微软Phi-3系列显示,小模型通过优化数据和训练方法,性能可匹敌大模型。Meta用15万亿数据训练8B参数模型,微软则通过筛选高质量数据和合成数据提升模型推理能力。小模型的突破可能使AI更易应用于实际场景,降低成本。(AI未来指北)

搜索