悟道·天鹰Aquila大语言模型

据智源研究院微信公众号今日发文,智源研究院宣布悟道·天鹰Aquila大语言模型系列全面升级到Aquila2,并再添340亿参数(34B)重量级新成员。Aquila2-34B取得了22个评测基准的领先综合排名,智源研究院称其是当前最强的开源中英双语大模型。

一举刷新大模型榜单成绩之外,智源研究院更加注重对推理、泛化等重要模型实际能力的潜心提升,在支撑智能体(AI agent)、代码生成、文献检索等场景方面取得一系列成绩。

值得一提的是,智源研究院一口气带来开源全家桶,将创新训练算法与实践同步开放,包括:

1、全面升级Aquila2模型系列:Aquila2-34B/7B基础模型、AquilaChat2-34B/7B对话模型、AquilaSQL“文本-SQL语言”模型。

2、语义向量模型BGE新版本升级,4大检索诉求全覆盖。

3、FlagScale高效并行训练框架,训练吞吐量、GPU利用率业界领先。

4、FlagAttention高性能Attention算子集,创新支撑长文本训练、Triton语言。

Aquila2 模型全系开源地址:
https://github.com/FlagAI-Open/Aquila2
https://model.baai.ac.cn/
https://huggingface.co/BAAI

AquilaSQL 开源仓库地址:
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sql

FlagAttention 开源代码仓库:
https://github.com/FlagOpen/FlagAttention

BGE2 开源地址
paper: https://arxiv.org/pdf/2310.07554.pdf
model: https://huggingface.co/BAAI/llm-embedder
repo: https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/llm_embedder

搜索