“OpenAI推出新一代模型CriticGPT：GPT-4为GPT-4带来人类级别的训练与提升”
OpenAI在人工智能应用领域再次引领风潮：推出基于 GPT-4 的新模型 CriticGPT，专注于强化学习中的人类反馈。此模型旨在帮助人类训练者提高 ChatGPT 的代码质量。通过 CriticGPT，利用 GPT-4 发现和纠正 ChatGPT 输出中的错误，使得人类训练师在 RLHF 过程中能够更有效地识别问题。
研究表明，使用 CriticGPT 辅助审查 ChatGPT 生成的代码，人类训练师的审核效率比未使用时提升了60%。OpenAI正在积极将类似 CriticGPT 的技术整合到其 RLHF 流程中，以提供更直观的 AI 支持。
OpenAI指出，当前缺乏有效工具评估复杂 AI 系统的表现，而 CriticGPT 则是朝着这一目标迈出的重要一步。通过 CriticGPT，OpenAI展示了其在推动高级 AI 系统评估能力方面的领先地位。
这一创新的背后，是 OpenAI 在 AI 技术应用和发展中持续推动的努力，为人类与 AI 的协同进步开辟了新的可能性。
OpenAI指出，尽管 CriticGPT 的建议并非绝对正确，但他们的研究表明，与没有此类 AI 帮助相比，借助 CriticGPT 可以更有效地发现模型编写答案中的问题。
研究还表明，当人们与 CriticGPT 合作时，他们的技能得到了增强，因此他们的批评结论更为全面，相比单独使用 AI 模型，出现幻觉错误的可能性也较低。
OpenAI的实验显示，超过 60% 的训练师更倾向于接受人类与 CriticGPT 协同工作的批评结论，而非没有 CriticGPT 协助的单独人类训练师的评价。
这些发现突显了 CriticGPT 在提升人类与 AI 协作效能方面的潜力，为未来 AI 系统的发展和优化提供了新的方法和实践经验。
OpenAI同时指出了开发CriticGPT时面临的四大局限性。首先，他们使用 ChatGPT 的简短答案来训练 CriticGPT，这意味着未来需要探索更好的方法来帮助训练师理解更为冗长和复杂的任务。
其次，尽管模型有所进步，但仍可能产生幻觉，有时这些幻觉会导致训练师误标错误。
第三，现实世界中的错误可能分散在答案的多个部分，而当前模型主要指出单一位置的错误，未来的工作则需解决分散在多个位置的错误。
第四，OpenAI强调，CriticGPT 的帮助是有限的。特别是在面对极为复杂的任务或响应时，即使有模型的协助，专家也可能无法完全正确评估。
最后，OpenAI指出，随着 AI 系统日益复杂，人们需要更优秀的工具来协调和优化这些系统。通过 CriticGPT 的研究，他们希望能够改进 GPT-4 的 RLHF 数据生成，以进一步提升其性能。
在社交媒体上，OpenAI发布了关于 CriticGPT 的消息，引发了广泛的讨论和点赞。评论指出，自我改进的道路已经开启，但也有人对大语言模型和其批评只会持续改进的前景表达了悲观情绪。
在社交媒体上，有网友引用了漫威电影《复仇者联盟》中灭霸的一句经典台词，来评论OpenAI关于使用 GPT-4 找 GPT-4 错误的做法：“我用宝石摧毁了宝石。”
这句台词形象地表达了对于使用同一技术解决自身问题的讽刺和反思，反映了人们对于 AI 自我改进和评估过程中可能出现的复杂性和挑战的深刻认识。