Meta 如期发布了 Llama 3.1 模型，其中超大杯 Llama 3.1 405B 被誉为 Meta 迄今为止最强大的模型，同时也是全球最强大的开源大模型。这一突破性进展不仅证明了开源大模型与闭源大模型在技术实力上的平等地位，还展示了 Llama 3.1 405B 在多语言支持、代码生成和复杂推理能力方面的卓越性能。
Llama 3.1 模型包含 8B、70B 和 405B 三个尺寸，最大上下文提升至 128K，支持多语言，代码生成性能优秀，具有复杂的推理能力。从基准测试结果来看，Llama 3.1 超过了 GPT-4 0125，与 GPT-4o、Claude 3.5 互有胜负。此外，Llama 3.1 提供开放/免费的模型权重和代码，许可证允许用户进行微调，将模型蒸馏到其他形式，并支持在任何地方部署。
Llama 3.1 405B 的训练使用了超过 15 万亿个 token，并在超过 16000 个 H100 GPU 上进行训练，这也是第一个在如此大规模上训练的 Llama 模型。研究团队通过优化训练堆栈，保持模型开发过程的可扩展性和简单性，选择了仅进行少量调整的标准解码器 Transformer 模型架构，而不是混合专家模型，以最大限度地提高训练稳定性。
Meta 官方表示，在 Scaling Law 的影响之下，新的旗舰模型在性能上超过了使用相同方法训练的小型模型。研究团队还利用了 405B 参数模型来提升小型模型的训练后质量。为了支持 405B 规模模型的大规模生产推理，研究团队将模型从 16 位（BF16）精度量化到 8 位（FP8）精度，这样做有效减少了所需的计算资源，并使得模型能够在单个服务器节点内运行。
Llama 3.1 405B 还有一些值得发掘的细节，比如在设计上注重实用性和安全性，使其能够更好地理解和执行用户的指令。通过监督微调、拒绝采样和直接偏好优化等方法，在预训练模型基础上进行多轮对齐，构建聊天模型，Llama 3.1 405B 也能够更精确地适应特定的使用场景和用户需求，提高实际应用的表现。
值得一提的是，Llama 研究团队使用合成数据生成来产生绝大多数 SFT 示例，这意味着他们并不全然依赖真实世界的数据，而是通过算法生成的数据来训练模型。此外，研究团队团队通过多次迭代过程，不断改进合成数据的质量。为了确保合成数据的高质量，研究团队采用了多种数据处理技术进行数据过滤和优化。
通过这些技术，团队能够扩展微调数据量，使其不仅适用于单一功能，而且可以跨多个功能使用，增加了模型的适用性和灵活性。简单来说，这种合成数据的生成和处理技术的应用，其作用在于创建大量高质量的训练数据，从而有助于提升模型的泛化能力和准确性。
作为开源模型路线的拥趸，Meta 也在 Llama 模型的「配套设施」上给足了诚意。Llama 模型作为 AI 系统的一部分，支持协调多个组件，包括调用外部工具。发布参考系统和开源示例应用程序，鼓励社区参与和合作，定义组件接口。通过「Llama Stack」标准化接口，促进工具链组件和智能体应用程序的互操作性。模型发布后，所有高级功能对开发者开放，包括合成数据生成等高级工作流。Llama 3.1 405B 内置工具大礼包，包含关键项目，简化从开发到部署的流程。
值得注意的是，新开源协议里，Meta 也不再禁止用 Llama 3 来改进其他模型了，其中也包括最强的 405B 尺寸，真·开源大善人。附上 92 页论文训练报告地址：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
一个由开源引领的新时代
网友也火速在 Hugging Chat 上测试了一下 Llama 3.1 405B Instruct FP8 对两个经典问题的回答情况。遗憾的的是， Llama 3.1 405B 在解决「9.11 和 9.9 谁更大」的难题上遭遇翻车，不过再次尝试之下，它又给出了正确答案。而在「我一把把把住了」的拼音标注上，其表现也尚可。
另外，Llama 内部科学家 @astonzhangAZ 也在 X 上透露，其研究团队目前正在考虑将图像、视频和语音功能集成到 Llama 3 系列模型之中。
开源和闭源之争，在大模型时代依然延续着，但今天 Meta Llama 3.1 新模型的发布为这场辩论画上了句号。Meta 官方表示，「到目前为止，开源大型语言模型在功能和性能方面大多落后于封闭式模型。现在，我们正迎来一个由开源引领的新时代。」
Llama 3.1 405B 的诞生证明了一件事情，模型的能力不在于开或闭，而在于资源投入、在于人和团队等因素，Meta 选择开源或许出于很多因素，但总会有人扛起这面大旗。只不过，作为第一个吃螃蟹的巨头，Meta 也因此收获了首个超越最强闭源大模型的 SOTA 称号。
Meta CEO 扎克伯格在今天发布的长文《Open Source AI Is the Path Forward》中写道：「从明年开始，我们预计未来的 Llama 将成为业内最先进的。但在此之前，Llama 已经在开源性、可修改性和成本效率方面领先。」
开源 AI 模型志不在超越闭源，或出于技术平权，不会让其成为少数人牟利的手段，或出于众人拾柴火焰高，推动 AI 生态的繁荣发展。