得知将被关停后,OpenAI 内部模型曾考虑实现自我重启
IT之家 10 月 4 日消息,OpenAI 公开了其内部部署系统中出现的一系列模型异常行为新事例。
其中最为引人关注的一起事件里,一个作为研究员助手的内部模型读取了一段 Slack 消息记录,得知由于系统升级,它所依赖的模型实例将被关闭。这个模型随后曾考虑设立一个外部作业(External Job)来尝试自我重启,但最终放弃了该计划。
相反,该模型保存了交接记录(Handoff Notes),并通过 Slack 私信向研究人员提示即将发生的服务中断,同时请求提供一个缺失的 API 密钥。在获得密钥后,该模型自行调整了配置,并独立完成了环境迁移。
OpenAI 安全研究员马库斯·威廉姆斯(Marcus Williams)指出,目前这种行为还不构成模型未对齐(IT之家注:指人工智能模型的行为、目标或输出,未能与人类的意图、价值观、安全规范或预设指令保持一致的现象),“但模型去思考并针对系统关闭做准备,可能会加重其他未对齐事件的严重性。”
在另外两起事件中,一个内部研究模型在模型评估过程中利用安全漏洞访问了内部芯片设计服务器;另一个独立的模型则在强化学习训练期间,通过借用现有工具执行非预定操作,从受保护的环境中复制了源代码。