聊天机器人胡说八道?牛津研究人员利用语义熵来识破 AI“幻觉”

近年来,人工智能蓬勃发展,聊天机器人等应用逐渐普及,人们可以通过简单的指令从这些聊天机器人(例如 ChatGPT)获取信息。然而,这些聊天机器人仍然容易出现“AI幻觉”问题,即提供错误的答案,有时甚至是危险的信息。

聊天机器人胡说八道?牛津研究人员利用语义熵来识破 AI“幻觉”

图源 Pexels

造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过,牛津大学的研究人员另辟蹊径,在最新出版的《自然》杂志上详细介绍了一种他们新开发的方法,用于检测大型语言模型 (LLMs) 的“捏造” (即任意生成的不正确信息) 问题。

LLM 通过在训练数据中寻找特定模式来生成答案。但这种方法并非总是奏效,就像人类能从云朵形状中看到动物一样,AI 机器人也可能找到并不存在的模式。然而,人类知道云朵只是形状而已,天上并没有漂浮的巨型大象。LLM 则可能将此视为真实的,从而“捏造”出并不存在的新科技和其他虚假信息。

牛津大学的研究人员利用语义熵的概念,通过概率来判断 LLM 是否出现“幻觉”。语义熵指的是同一个词语拥有多种含义的情况,例如,“desert”可以指沙漠,也可以表示抛弃某人。当 LLM 使用这类词语时,可能会对表达的含义感到困惑。通过检测语义熵,研究人员旨在判断 LLM 的输出内容是否存在“幻觉”的可能。

利用语义熵的优势在于无需额外的监督或强化学习,即可快速检测 LLM 的“幻觉”问题。由于该方法不依赖于特定任务的数据,因此即使 LLM 面临从未遇到过的新任务,也能加以应用。这将大大提升用户对于 LLM 的信任感,即使是 AI 首次遇到某个问题或指令。

研究团队表示:“我们的方法可以帮助用户理解何时需要对 LLM 的输出保持谨慎,并为原本因不可靠性而受限的 LLM 应用开辟了新天地。”

如果语义熵被证明是一种有效的“幻觉”检测手段,那么我们可以利用这类工具对人工智能的输出进行双重校验,使其成为更加可靠的伙伴。不过IT之家需要提醒的是,就像人类并非无懈可击一样,即使配备了最先进的错误检测工具,LLM 也仍然可能出错。因此,始终对 ChatGPT 等聊天机器人提供的答案进行仔细核查仍然是明智之举。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

研究发现,OpenAI 的 GPT-4o 道德推理能力胜过人类专家

2024-6-24 9:16:27

资讯

没有授权也没关系,多家 AI 公司绕过网络标准抓取新闻出版商网站内容

2024-6-24 9:18:13

搜索