金山云瀚海平台全面接入文心4.5开源模型,为文心大模型开源后首批接入的平台之一。
作为综合性的企业AI解决方案,金山云瀚海平台(以下简称“瀚海平台”)可为企业提供从模型训练、评估、推理到应用开发的全流程能力。随着更多优质模型的接入,瀚海平台能在更加多样化的业务场景中助力企业提升业务效率,加速其数智化转型。
金山云瀚海平台部署文心4.5系列开源模型流程:
进入模型管理页面,找到文心4.5系列开源模型,点击部署;
填写推理服务名称,设置推理资源组和副本数,点击启动,等待服务上线即可。
调用模型服务:
支持内网直接调用模型;
支持接入瀚海应用平台后,根据应用场景需要来使用模型。
据悉,文心4.5系列开源模型共10款,涵盖了激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。文心4.5系列模型针对MoE架构提出了多模态异构模型结构,通过跨模态参数共享机制实现模态间知识融合,同时为各单一模态保留专用参数空间。
文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中,模型FLOPs利用率(MFU)达到47%。实验结果显示,该系列模型在多个文本和多模态基准测试中达到SOTA水平,在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。
文心4.5系列开源模型的接入,不仅拓宽了金山云在平台模型服务领域的广度,也为公司助力企业构建自主智能体与行业应用奠定了坚实的基础。未来,金山云瀚海平台将持续接入更多优质模型,为金融、政企、医疗等领域的客户提供更优服务,助推产业智能化升级。