OpenAI近期悄然在官方网站上发布了备受瞩目的新研究——CriticGPT，这款模型源自前任超级对齐团队的创新遗产。不同于GPT-4的初衷，CriticGPT旨在检测和修正GPT-4的输出误差，实现了自我批判的功能。它的发布似乎是对公众期望的一种回应，被形象地比喻为GPT-4的辅助工具，如同一把辅助前行的“拐杖”。
CriticGPT的设计围绕着一个核心理念：它是在GPT-4的基础上训练的，专门用于检测其生成代码中的瑕疵，从而提升整体性能。然而，这种自我纠正的方式引发了一些讨论，有人戏谑地提出“石头砸石头”的悖论，显得既讽刺又耐人寻味。
尽管官方尚未明确CriticGPT何时会融入到ChatGPT中，但技术文档已公开，且这项成果是由超级对齐的scalable oversight团队合作完成，其中包括Jan Leike等前员工的贡献。这篇论文不仅展示了技术上的突破，也预示着模型自我完善的新篇章。
尽管质疑和观察不断，CriticGPT的引入似乎标志着一个新阶段的开始，即通过模型之间的相互监督，推动人工智能的进步。然而，关于CriticGPT何时全面集成和其潜在影响的讨论，仍将在科技社区中持续发酵。
今天，OpenAI发布了一篇引人瞩目的新论文，介绍了他们最新的研究成果——CriticGPT。这一模型基于GPT-4架构，旨在通过自我监督的方式帮助GPT-4改进其生成的代码和文本。这种方法的提出似乎为模型自我提升开辟了新的可能性。
在传统方法RLHF（从人类反馈中学习）面临的限制日益显现的背景下，OpenAI的可扩展监督团队提出了一种全新的策略：训练一个模型（CriticGPT），专门负责为GPT-4的输出撰写评论并指出错误之处。这种方法的核心在于利用模型本身的能力来提高其质量，而不是仅仅依赖于人类的反馈。
具体而言，CriticGPT的训练过程涉及以下步骤：
- 人为注入错误： 首先，标注者向GPT-4生成的答案中人为注入微妙的错误。这些错误旨在模拟真实世界中的潜在问题，从而帮助CriticGPT识别和指出GPT-4输出的不准确之处。
- 生成批评意见： 接着，CriticGPT根据这些含有错误的答案生成批评意见。这些意见可能包括指出具体错误的位置、提供改进建议等。
- 人类评估和反馈： 生成的批评意见由人类评估者进行评分和排名，以确定其准确性和实用性。这一过程帮助调整CriticGPT的生成策略，使其能够提供更加准确和全面的批评。
- 优化和改进： 使用强化学习技术（如PPO）优化CriticGPT的性能，使其能够更有效地捕捉和纠正GPT-4输出中的错误。
文章中还强调了为何要人为注入错误的必要性：使用原始的未经修饰答案可能会导致数据不足以有效改进批评意见，而且难以控制错误类型，可能会使得生成的批评意见不具备实际的指导意义。
总体来看，CriticGPT的引入代表了一种新的自我提升机制，通过模型内部的自我监督来不断改进其生成的质量。这不仅提升了模型的自我修复能力，也为未来开发更为智能和可靠的AI系统奠定了基础。
OpenAI的研究团队在CriticGPT的开发过程中，采用了一种精心设计的“篡改”方法，这种方法的核心优势在于能够创造出高质量且难以察觉的错误。通过这种方式，团队能够更有效地训练CriticGPT，使其能够识别和纠正GPT-4输出中的潜在问题。
为了确保这些人为篡改的错误足够复杂和微妙，团队还训练了一个二元判别器来预测代码是否被篡改。实验结果显示，较小的模型在这方面表现不佳，这进一步验证了篡改代码的质量和有效性。
在评估CriticGPT生成的批评意见时，人类评估者会从多个维度进行评分和排名，包括批评的全面性、是否准确捕捉到预先插入的特定错误（CBI）、是否存在幻觉或过度挑剔的情况，以及批评意见的整体实用性和风格。
此外，团队在训练CriticGPT时，除了采用RLHF方法外，还引入了一种创新的搜索策略——强制采样束搜索（FSBS）。这种策略旨在平衡批评意见的长度和准确性，确保CriticGPT在提供更全面批评的同时，减少不必要的“无中生有”或“鸡蛋里挑骨头”的情况。
消融实验的结果表明，FSBS方法确实有效，能够显著提升CriticGPT的性能。同时，OpenAI的研究还涉及了模型规模对错误检测效果的影响，通过一系列实验，团队发现要达到CriticGPT的同等水平，可能需要将ChatGPT的预训练计算量扩大30倍，这进一步凸显了CriticGPT在模型自我提升方面的潜力和价值。
总体而言，CriticGPT的开发和应用展示了OpenAI在推动模型自我监督和改进方面的创新努力，为未来AI系统的持续优化和发展提供了新的思路和方法。
OpenAI的最新研究关于CriticGPT展示了一种创新的方法，通过使用人为篡改的方式来训练模型，帮助改进GPT-4的输出质量。以下是关键内容的总结和分析：
评估结果
- 比较人类与CriticGPT的批评意见：
- 在评估过程中，混合了人类和CriticGPT生成的批评意见。
- 结果显示，CriticGPT的批评意见在63%的情况下优于人类的批评意见。
- 批评意见的质量被认为受到领域知识和篡改难度的影响，这使得模型的评估能力明显超过了独立人类评估者。
- CriticGPT的全面性和幻觉问题：
- CriticGPT在检测篡改错误以及原始输出中的错误方面表现出色，全面性达到最高百分比。
- 然而，CriticGPT仍然存在一定程度的幻觉问题，虽然比起ChatGPT有所改善。
- 人类与CriticGPT的结合优势：
- 在全面性和减少幻觉之间进行权衡时，团队发现人类与CriticGPT合作的模式表现最佳。
- 通过人类与CriticGPT的协同作业，团队能够超越单独模型或人类的表现，达到更好的综合评估结果。
总结
- 可扩展监督的目标：
- OpenAI的研究旨在利用CriticGPT等模型帮助人类评估和改进AI系统，以达到更好、更安全的策略。
- 长期目标是开发出一种泛化性更强的批评模型训练方法，适用于没有真实标签和奖励函数的复杂任务。
- 挑战与未来方向：
- CriticGPT虽然有效，但仍然面临幻觉问题和应用范围的限制，特别是对于复杂任务或输出的评估可能存在困难。
- 未来需要进一步探索如何识别和修复分布在答案中各个部分的错误，这对于实际应用中的AI质量控制至关重要。
- 方法的贡献：
- 这篇文章提出了一种新的RLHF训练方法，即使用CriticGPT合成高质量的RLHF数据，为今后改进AI模型提供了新的思路和实验基础。
总体而言，CriticGPT的引入标志着在AI自我监督和改进方面迈出了重要一步，为未来智能系统的发展和优化铺平了道路。