OpenAI、微软、智谱AI等，16家公司共同签署前沿人工智能安全承诺。日前，OpenAI的联合创始人兼首席科学家Ilya Sutskever和OpenAI超级对齐团队的共同领导人Jan Leike相继离开该公司。Leike甚至在某个平台上发布了一系列帖子，指责OpenAI及其领导层忽视了安全问题，而更倾向于推出耀眼的产品。这一事件引起了业界的广泛关注，也在一定程度上凸显了当前AI安全问题的紧迫性。

5月21日，图灵奖得主Yoshua Bengio、Geoffrey Hinton和姚期智等数十位国内外专家和学者，在权威科学期刊《Science》上发表了文章，呼吁世界各国领导人采取更有力的行动应对AI风险，并警告称，“近六个月来取得的进展仍不足以应对当前的挑战”。他们认为，AI的不受限制的发展可能最终导致生命和生物圈的大规模损失，以及人类的边缘化或灭绝。

他们指出，AI模型的安全问题已经上升到威胁人类未来生存的严重程度。

同样，AI模型的安全问题已经成为每个人都有必要关注的话题，可能影响到每个人。

5月22日是人工智能领域的一个重要时刻：来自不同国家和地区的公司，包括OpenAI、谷歌、微软和智谱AI等，共同签署了前沿人工智能安全承诺。欧盟理事会也正式批准了《人工智能法案》，这是全球首个全面监管人工智能的法规即将生效。

再次，AI的安全问题引起了政策层面的关注。

在“人工智能首尔峰会”上，来自北美、亚洲、欧洲和中东地区的16家公司就AI开发的安全问题达成一致，并共同签署了前沿人工智能安全承诺，具体包括：

确保前沿AI安全的负责任治理结构和透明度；
负责任地说明将如何衡量前沿AI模型的风险，基于人工智能安全框架；
建立明确流程的前沿AI安全模型风险缓解机制。
图灵奖得主Yoshua Bengio认为，签署前沿人工智能安全承诺标志着建立国际治理制度以促进人工智能安全迈出了重要一步。

作为一家来自中国的大型AI公司，智谱AI也签署了这一前沿人工智能安全承诺。

对此，OpenAI全球事务副总裁Anna Makanju表示，“前沿人工智能安全承诺是促进更广泛实施先进AI系统安全实践的重要一步。”Google DeepMind总法律顾问兼治理主管Tom Lue表示，“这些承诺将有助于在领先开发者之间建立重要的前沿AI安全最佳实践。”智谱AI首席执行官张鹏表示，“伴随着先进技术而来的是确保AI安全的重要责任。”

智谱AI最近还受邀参加了AI顶级会议ICLR 2024，并在题为“The ChatGLM’s Road to AGI”的主题演讲中分享了他们对AI安全的具体做法。

他们认为，超级对齐（Superalignment）技术将有助于提升大型模型的安全性，并已经启动了类似OpenAI超级对齐计划，旨在让机器自行学习、自行判断，从而实现学习安全内容。他们透露，GLM-4V已经内置了这些安全措施，以防止产生有害或不道德的行为，同时保护用户隐私和数据安全；而GLM-4的后续升级版本GLM-4.5及其以上版本也将基于超级智能和超级对齐技术。

最近，智谱AI与清华团队合作，提出了一种名为“自对比”的方法，通过利用大量自动生成的否定词来进行无反馈的大型语言模型对齐。据论文介绍，在只有监督微调目标的情况下，自对比能够利用语言模型本身生成的大量不同的候选词，并通过预先训练的嵌入模型根据文本相似性过滤多个否定词。直接偏好优化实验表明，自对比可以持续显著超越标准的监督微调方法，随着自动生成的负样本数量增加，其性能也在不断提高。这一研究为偏好数据缺失情况下的对齐提供了一种新的方法，在偏好数据标注成本高昂且难以获得的情况下，可以利用未标注的数据构建语法偏好数据，通过增加负样本的数量来弥补正样本不足造成的性能损失。