OpenAI在强化学习领域迈出了新的一步:推出基于GPT-4的CriticGPT,专门用于审查ChatGPT代码输出中的错误。这一创新让人类能够借助GPT-4的能力来发现和改进ChatGPT在任务执行过程中的问题。
CriticGPT的作用很简单:它生成关于ChatGPT响应的批评性评论,帮助人类训练者更有效地发现代码中的错误。OpenAI的研究发现,使用CriticGPT进行审查的人类训练师效果比没有使用帮助的情况提高了60%。
这项技术的意义在于,它允许OpenAI将类似CriticGPT的模型整合到强化学习和反馈管道中,为训练师提供更明确的AI辅助。OpenAI指出,目前人们在评估高级AI系统的表现时面临挑战,而CriticGPT为实现这一目标迈出了重要的一步。
例如,在一个需要ChatGPT编写特定Python函数的任务中,CriticGPT可以指出可能需要改进的代码部分,提议替换为更有效的表达方式。
![](https://gpt-article-1255372491.cos.ap-guangzhou.myqcloud.com/wp-content/uploads/20240717144234543.png)
OpenAI指出,尽管CriticGPT的建议并非完全没有错误,但他们发现在与没有此类AI帮助的情况相比,有了CriticGPT后,训练师能够发现更多模型编写答案的问题。
此外,当人们与CriticGPT合作时,这种AI模型可以增强他们的技能,使他们能够得出比单独人类训练师更全面的批评结论,并且减少由AI模型独立工作时可能产生的幻觉错误。
OpenAI的实验显示,超过60%的训练师更喜欢与CriticGPT合作得出的批评结论,而不是单独由人类训练师提供的批评意见。
![](https://gpt-article-1255372491.cos.ap-guangzhou.myqcloud.com/wp-content/uploads/20240717144253862.png)
OpenAI提到了开发CriticGPT时遇到的四大局限性。首先,他们使用ChatGPT的简短答案来训练CriticGPT,但未来需要探索能够帮助训练师理解更复杂和冗长任务的方法。
其次,模型仍然可能产生幻觉,这有时会导致训练师误判错误。第三,现实世界中的错误有时分散在答案的多个部分,目前的工作重点是让模型指出单个位置的错误,未来需要解决分散在不同位置的错误。
第四,OpenAI指出,CriticGPT的帮助有限:对于极其复杂的任务或响应,即使有模型辅助,专家也可能无法准确评估。
最后,OpenAI认为,为了协调日益复杂的AI系统,人们需要更优秀的工具。他们希望通过将RLHF应用于GPT-4来生成更优质的数据,以帮助改进GPT-4的性能。OpenAI计划进一步推进这项工作并将其付诸实践。
在社交媒体上,OpenAI发布了关于新模型CriticGPT的消息后,受到了广泛的关注和赞赏,反映了自我改进的步伐已经开始。
![](https://gpt-article-1255372491.cos.ap-guangzhou.myqcloud.com/wp-content/uploads/20240717144310771.png)
还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的一句台词,点评OpenAI所说的用GPT-4找GPT-4的错误:“我用宝石摧毁了宝石。”
![](https://wpimg-wscn.awtmt.com/c29dee58-eb90-436d-a420-e20722610b08.jpeg?imageView2/2/w/640)