Meta的AI产品总监Joe Spisak在Weights & Biases举办的会议上，针对Llama系列模型的历史、Llama3的训练思路、开源生态系统、安全方面的工作、相关代码库，以及未来的规划进行了详细介绍。研究人员使用了至少7倍于Llama 2的数据（大约2T个token）来训练Llama 3 模型（超过15T个token）；在微调方面，Llama 2模型的SFT中有一百万条人类标注数据，而在Llama 3中，Meta将微调数据量增加了10倍。Llama 3还包括了更大的词汇表，一个新的tokenizer，运行效率更高，性能更强，并且上下文窗口也加倍了。Joe强调，目前发布的其实是Llama 3的非常早期版本，团队原本打算将这些模型称为预发布或预览版本，因为模型并不具有计划中包含的全部功能。
官网地址：
https://llama.meta.com/docs/get-started/
开源地址：
https://huggingface.co/blog/zh/llama3
介绍视频地址：
https://www.youtube.com/watch?v=r3DC_gjFCSA