埃隆马斯克旗下的人工智能初创公司xAI宣布正式推出Grok-1.5,官方推送啥也没说,直接甩链接,主打一个字少事大”。
Grok-1.5有哪些升级呢,主要是两个方面:
1、长上下文理解
对于上下文窗口,Grok-1.5直接提升到了之前的16倍,从8192增长到128k,和GPT-4齐平。
这也就意味着Grok-1.5可以处理更长和更复杂的提示,同时保持其遵循指令的能力。
在大海捞针(NIAH)评估中,Grok-1.5展示了强大的检索功能,可以在长度达128K的上下文中检索嵌入的文本,获得完美的检索结果。
2、能力和推理
Grok-1.5最大的改进之一是处理编程和数学相关任务的能力大幅提升,全面超越Grok-1、Mistral Large、Claude 2。
数学方面,Grok-1.5在MATH基准测试上得分50.6%,超越中杯Claude 3 Sonnet;GSM8K上得分90%。
编程方面,Grok-1.5在HumanEval基准测试上得分74.1%,超越中杯Claude 3 Sonnet、Gemini Pro1.5、GPT-4,仅次于大杯Claude 3 Opus。