Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测

Chrome团队宣布,正在探索“内置 AI”概念,即浏览器将具有内置 AI 模型,以便为浏览器功能和网络平台 API 启用设备上的 AI。

Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测

官方介绍称,借助内置 AI,您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务,而无需担心部署和管理上述模型。特别是,Chrome将推出 Gemini Nano,这是 Gemini 模型系列中最小的版本,可在大多数配备 Chrome 的现代台式机和笔记本电脑上本地运行。

据了解,最新的 Chrome 已经内测内置了 Gemini Nano 大语言模型(4bit3.25B),可以用来做摘要、翻译、写作等任务,并且可以完全本地运行,离线免费。加入早期预览版计划,体验处于早期阶段的内置 AI API

内置 AI 为 Web 开发者带来的好处

与在设备端 AI 中自行构建模型相比,内置 AI 具有以下优势:

易于部署:浏览器分发模型时,会考虑设备功能并管理模型的更新。这意味着,您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。

使用硬件加速功能:浏览器的 AI 运行时经过优化,可以充分利用可用的硬件,无论是 GPU、NPU 还是回退到 CPU。因此,您的应用可以在每台设备上获得最佳性能。

在设备上运行的好处

使用内置 AI 方法,在设备上执行 AI 任务变得轻而易举,这反过来又具有以下优势:

本地处理敏感数据:设备端 AI 可以改进您的隐私保护故事。例如,如果您处理敏感数据,则可以通过端到端加密为用户提供 AI 功能。

流畅的用户体验:在某些情况下,无需往返于服务器,意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。

对 AI 的访问权限更高:用户的设备可以承担一些处理负载,以换取对功能的更多访问权限。例如,如果您提供高级 AI 功能,则可以使用设备端 AI 来预览这些功能,以便潜在客户可以看到您产品的优势,而无需支付额外费用。这种混合方法还可以帮助您管理推断费用,尤其是针对常用用户流的推断费用。

离线使用 AI:即使没有互联网连接,您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式,按预期运行。

申请网址:

https://docs.google.com/forms/d/e/1FAIpQLSfZXeiwj9KO9jMctffHPym88ln12xNWCrVkMY_u06WfSTulQg/viewform?pli=1

官方文档:

https://developer.chrome.com/docs/ai/built-in?hl=zh-cn

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

免费匿名使用 GPT 等热门大模型,DuckDuckGo AI Chat 聊天机器人发布

2024-6-8 9:20:28

资讯

周鸿祎炫高考作文押题10中3:展示360AI搜索预测能力

2024-6-8 9:25:01

搜索