通义千问 2.0发布,性能超越 GPT-3.5,直逼 GPT-4

在过去的六个月中,通义千问 2.0 在性能上取得了巨大的飞跃。与今年四月发布的 1.0 版本相比,通义千问 2.0 在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力方面均有显著提升。目前,通义千问的综合性能已经超过了 GPT-3.5,并在加速追赶 GPT-4 的步伐。

Screenshot

在 MMLU、C-Eval、GSM8K、HumanEval、MATH 等 10 个主流 Benchmark 测评集上,通义千问 2.0 的得分整体超越了 Meta 的 Llama-2-70B,相比 OpenAI 的 Chat-3.5 是九胜一负,相比 GPT-4 则是四胜六负,与 GPT-4 的差距进一步缩小。

中英文理解能力是大语言模型的基本功。在英语任务方面,通义千问 2.0 在 MMLU 基准测试中的得分为 82.5,仅次于 GPT-4。通过大幅增加参数量,通义千问 2.0 能更好地理解和处理复杂的语言结构和概念。在中文任务方面,通义千问 2.0 以明显优势在 C-Eval 基准测试中获得最高得分,这是由于模型在训练中学习了更多中文语料,从而进一步强化了中文理解和表达能力。

在数学推理、代码理解等领域,通义千问 2.0 也取得了显著进步。在推理基准测试 GSM8K 中,通义千问排名第二,展示了其强大的计算和逻辑推理能力。在 HumanEval 测试中,通义千问得分紧跟 GPT-4 和 GPT-3.5,该测试主要衡量大模型理解和执行代码片段的能力,这一能力是大模型应用于编程辅助、自动代码修复等场景的基础。

通义千问 2.0 变得更加成熟,也更加易用。在指令遵循、工具使用、精细化创作等方面进行了技术优化,使其能够更好地被下游应用场景集成。通义大模型官网上线了多模态和插件功能,支持图片输入、文档解析等细分任务。

与此同时,基于通义大模型训练的 8 大行业模型组团上线,它们分别是:

  1. 通义灵码:智能编码助手
  2. 通义智文:AI 阅读助手
  3. 通义听悟:工作学习 AI 助手
  4. 通义星尘:个性化角色创作平台
  5. 通义点金:智能投研助手
  6. 通义晓蜜:智能客服
  7. 通义仁心:个人专属健康助手
  8. 通义法睿:AI 法律顾问

这 8 大行业模型面向当前最受欢迎的多个垂直场景,使用领域数据进行专门训练。用户可以在官网直接体验模型功能,开发者可以通过网页嵌入、API/SDK 调用等方式,将模型能力集成到自己的大模型应用和服务中。

截至 10 月,阿里云已与 60 多个行业的头部伙伴进行深度合作,推动通义千问在办公、文旅、电力、政务、医保、交通、制造、金融、软件开发等领域的落地。

阿里云的周靖人透露,公司计划近期开源通义千问 72B 版本。在此前,阿里云已先后开源 7B 和 14B 版本模型,累计下载量超过 100 万。阿里云将持续支持各行各业的开发者基于通义千问开源模型进行模型和应用的创新。