本周,OpenAI“超级对齐”团队(负责监督公司的安全问题)的联合负责人Jan Leike辞职。在X平台(前身为Twitter)上的一条帖子中,这位安全领域的领导者解释了他离开OpenAI的原因,包括他与公司领导层在“核心优先事项”上的分歧已经有相当长的时间了,以至于达到了“临界点”。
第二天,OpenAI 首席执行官 Sam Altman 和总裁兼联合创始人 Greg Brockman 回应了 Leike 关于公司不关注安全的说法。
除其他外,Leike 还表示,近年来 OpenAI 的“安全文化和流程已经让位于其它的产品”,他的团队很难获得资源来完成安全工作。
雷克写道:“我们早就应该认真对待 AGI(通用人工智能)的影响了。” “我们必须优先考虑尽我们所能为他们做好准备。”
周五,Altman 在雷克的转发中首先做出了回应,称雷克是对的,OpenAI “还有很多事情要做”,并且“致力于这样做”。他承诺将会发布更长的帖子。
周六,布罗克曼在 X 上发布了他自己和 Altman 的共同回应:
在对雷克的工作表示感谢后,布罗克曼和奥尔特曼表示,他们在雷克辞职后收到了一些问题。他们分享了三点,第一是 OpenAI 提高了人们对 AGI 的认识,“以便世界能够更好地为此做好准备”。
他们写道:“我们一再证明了扩大深度学习的难以置信的可能性,并分析了它们的影响;在此类呼吁流行之前呼吁对 AGI 进行国际治理;并帮助开创了评估人工智能系统灾难性风险的科学。”
第二点是,他们正在为这些技术的安全部署奠定基础,并以员工为“以安全的方式将 [Chat]GPT-4 带到世界”所做的工作为例。两人声称,自那时以来(OpenAI 于 2023 年 3 月发布了 ChatGPT-4),该公司“根据部署中吸取的经验教训,不断改进模型行为和滥用监控”。
第三点? “未来将比过去更艰难,”他们写道。 Brock 和 Altman 解释说,OpenAI 在发布新模型时需要不断提高其安全工作,并引用该公司的准备框架作为帮助实现这一目标的一种方式。根据 OpenAI 网站上的页面,该框架预测可能出现的“灾难性风险”,并寻求减轻这些风险。
然后,布罗克曼和奥特曼继续讨论未来,OpenAI 的模型将更加融入世界,并与更多人互动。他们认为这是一件有益的事情,并相信可以安全地做到这一点——“但这需要大量的基础工作。”因此,该公司可能会推迟发布时间表,以便模型“达到[其]安全标准”。
“我们知道我们无法想象未来所有可能的情况,”他们说。 “因此,我们需要有一个非常严格的反馈循环、严格的测试、每一步都仔细考虑、世界一流的安全性以及安全性和功能的和谐。”
领导人表示,OpenAI 将继续与政府和利益相关者就安全问题进行研究和合作。
他们总结道:“对于如何走上通用人工智能之路,目前还没有经过验证的剧本。我们认为实证理解可以帮助指明前进的方向。” “我们相信,既能带来巨大的好处,又能努力减轻严重的风险;我们非常认真地对待我们在这里的角色,并仔细权衡对我们行动的反馈。”
OpenAI 首席科学家 Ilya Sutskever 本周也辞职,这一事实使雷克的辞职和言论变得更加复杂。 “#WhatDidIlyaSee”成为 X 上的热门话题,标志着人们对 OpenAI 高层领导者所了解的事情的猜测。从布罗克曼和奥特曼今天声明的负面反应来看,这并没有消除任何这种猜测。
截至目前,该公司正在推进下一个版本:语音助手 ChatGPT-4o。