【TechWeb】7月1日消息，按照计划，6月30日百度正式开源文心大模型4.5系列模型。早在今天2月14日，百度就对这一开源做了预告。
此次百度开源的文心大模型4.5（ERNIE 4.5）系列模型包括47B、3B激活参数的混合专家（MoE）模型，与0.3B参数的稠密型模型等10款模型，并实现预训练权重和推理代码的完全开源。
ERNIE 4.5模型在Apache License 2.0许可下提供。该许可允许商业使用，但须遵守其条款和条件。
此外，百度还开源了文心大模型4.5的开发工具包ERNIEKit，它提供模型训练和压缩能力，包括预训练、监督精细调整（SFT）、低秩适应（LoRA）、直接偏好优化（DPO）、量化软件训练（QAT）和训练后量化（PTQ）技术。
目前，文心大模型4.5开源系列已可在飞桨星河社区、HuggingFace等平台下载部署使用，同时开源模型API（应用程序编程接口）服务也可在百度智能云千帆大模型平台使用。
英特尔已在第一时间实现对百度文心4.5系列端侧模型的适配和在英特尔酷睿Ultra平台上的端侧部署。
同时，百度也放出了文心大模型4.5开源系列的技术文档。一起看看。
文心大模型4.5的三个关键创新
1、多模态混合专家模型预训练： 文心4.5 通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，我们提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。
2、高效训练推理框架： 为了支持 文心4.5 模型的高效训练，我们提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，我们提出了多专家并行协同量化方法和卷积编码量化算法 ，实现了效果接近无损的4-bit 量化和2-bit 量化。此外，我们还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE 模型的推理性能。基于飞桨框架，文心4.5 在多种硬件平台均表现出优异的推理性能。
3、针对模态的后训练： 为了满足实际场景的不同要求，我们对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（Unified Preference Optimization，统一偏好优化技术）的多阶段后训练。
多项评测超Qwen3、DeepSeek-V3
ERNIE-4.5-300B-A47B-base 在 28 个基准测试中的 22 个超越了 DeepSeek-V3-671B-A37B-base，在所有主要能力类别中均有领先的表现。相对于其他SOTA模型，在泛化能力、推理和知识密集型任务方面的显著提升。ERNIE-4.5-21B-A3B-base 总参数量为 210 亿（约为 Qwen3-30B 的 70%），在包括 BBH 和 CMATH 在内的多个数学和推理基准上效果优于 Qwen3-30B-A3B-base。尽管ERNIE-4.5-21B-A3B-base 更小，但模型效果突出，实现了效果和效率的平衡。
经过后训练的 ERNIE-4.5-300B-A47B 模型，在指令遵循和知识类任务方面表现出显著优势，其在 IFeval、Multi-IF、SimpleQA 和 ChineseSimpleQA 等基准测试中取得了业界领先的效果。轻量级模型 ERNIE-4.5-21B-A3B 尽管总参数量减少了约 30%，但与 Qwen3-30B-A3B 相比，仍取得了具有竞争力的性能。
在非思考模式下，ERNIE-4.5-VL 在视觉感知、文档与图表理解以及视觉知识方面效果突出，在一系列基准测试中表现优异。在思考模式下，ERNIE-4.5-VL 不仅展现出比非思考模式更强的推理能力，还保留了非思考模式的强大感知能力。ERNIE-4.5-VL-424B-A47B 在各种多模态评估基准中均取得了突出效果。其思考模式在 MathVista、MMMU 和 VisualPuzzle 等高难度基准上具有明显优势，并在以感知为主的数据集（如 CV-Bench 和 RealWorldQA）上保持了不错的效果。尽管使用显著少的激活参数，轻量级视觉语言模型 ERNIE-4.5-28B-A3B 在大多数基准测试中，相较于 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，效果相当甚至更优。此外，文心4.5轻量级模型也同时支持思考和非思考两种模式，提供了与 ERNIE-4.5-VL-424B-A47B 一致的功能。
图注：ERNIE-4.5预训练模型的性能
图注：ERNIE-4.5-300B-A47B后训练模型的性能
英特尔适配端侧部署
此次文心系列模型的开源发布后，英特尔“第零日”即实现对文心端侧模型的适配和在英特尔酷睿Ultra平台上的端侧部署。
英特尔宣布OpenVIN已经对文心4.5的0.3B参数量的稠密模型成功适配，并在英特尔酷睿Ultra平台上成功部署且获得了优异的推理性能。
OpenVINO工具套件是由英特尔开发的开源工具套件，旨在优化和加速深度学习模型的推理性能，支持跨平台部署并充分利用英特尔硬件资源。OpenVINO助力行业中广泛的先进模型在英特尔人工智能产品和解决方案中的性能，应用在AI PC、边缘AI和更多人工智能的使用场景当中。
从2021年开始，百度飞桨和英特尔OpenVINO进行深入合作，双方进行深度适配，为开发者提供了更有效更便捷的AI开发工具链。（宜月）
0 条