OpenAI 今天凌晨面向开发者推出 Batch 批处理 API,可在 24 小时内给出结果,并提供 API 半价折扣。
新的 Batch API 适用于异步任务处理,如当开发者需要处理大量文本、图片、摘要时,就可以使用该 API,OpenAI 会在 24 小时内给出处理结果。这样 OpenAI 可以在非高峰期处理,节约服务器资源,并为开发者提供半价优惠,解锁更高的速率限制。
新的 Batch API 支持使用以下模型:
-
gpt-3.5-turbo
-
gpt-3.5-turbo-16k
-
gpt-4
-
gpt-4-32k
-
gpt-4-turbo-preview
-
gpt-4-turbo
-
gpt-3.5-turbo-0301
-
gpt-3.5-turbo-16k-0613
-
gpt-3.5-turbo-1106
-
gpt-3.5-turbo-0613
-
gpt-4-0314
-
gpt-4-turbo-2024-04-09
-
gpt-4-32k-0314
-
gpt-4-32k-0613
OpenAI 已经在 API 文档中介绍了详细使用方法,包括如何创建、取回、取消 Batch 批处理等,有需要的开发者提供官方介绍如下:
- Batch API 示例 - OpenAI API 文档
- Batch API 常见问题与解答 | OpenAI 帮助中心