黑土地开鲜花,昇腾算力炼出准万亿领先大模型
创始人
2025-05-31 00:41:27
0

近日,华为在MoE模型训练领域再进一步,重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告,披露众多技术细节,充分体现了昇腾在超大规模MoE训练性能上的跨越。

训练超大规模和极高稀疏性的 MoE 模型极具挑战,训练过程中的稳定性往往难以保障。针对这一难题,盘古团队在模型架构和训练方法上进行了创新性设计,成功地在昇腾平台上实现了准万亿 MoE 模型的全流程训练。

在模型架构上,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。此外,他们还提出了 EP loss 负载优化方法,这一设计不仅保证了各个专家之间较好的负载均衡,也提升了专家的领域特化能力。同时,盘古Ultra MoE使用了业界先进的MLA和MTP架构,在预训练和后训练阶段都使用了Dropless训练策略,实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。

在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上,高效打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。同时,在5月初发布的预训练系统加速技术基础上,在不到一个月的时间内,华为团队又完成了一轮迭代升级,包括:适配昇腾硬件的自适应流水掩盖策略,进一步优化算子执行序,进一步降低Host-Bound以及提升EP通信的掩盖;自适应管理内存优化策略的开发;数据重排实现DP间Attention负载均衡;以及昇腾亲和的算子优化,这些技术实现万卡集群预训练MFU由30%大幅提升至41%。

此外,近期发布的盘古Pro MoE大模型,在参数量仅为720亿,激活160亿参数量的情况下,通过动态激活专家网络的创新设计,实现了以小打大的优异性能,甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。

华为盘古Ultra MoE和盘古Pro MoE系列模型的发布,证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践,同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证,为中国人工智能产业的发展提供了一颗“定心丸”。

#国产昇腾训出世界一流大模型

校对:张彦君

相关内容

热门资讯

量子信息技术在反电信网络诈骗中... 通信世界网消息(CWW)近年来,电信网络诈骗犯罪手法持续衍变,展现出高度的智能化、虚拟化、隐蔽性、动...
起航电缆取得一种通电检测装置专... 金融界2025年6月4日消息,国家知识产权局信息显示,广东起航电缆有限公司取得一项名为“一种通电检测...
日本计划借助AI加强知识产权竞... 新华社东京6月3日电 日本政府3日通过“知识产权推进计划2025”,希望借助人工智能(AI)等先进技...
“AI教父”本吉奥计划开发新型... 界面新闻记者 | 宋佳楠 当地时间6月3日,被誉为“AI教父”的图灵奖得主约书亚·本吉奥(Yosh...
奥拓电子获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示奥拓电子(002587)新获得一项发明专利授权,专利名为“一种...
我省市场监管系统持续规范网络市... 本报讯(通讯员 谈玮) 随着人工智能的快速发展,DeepSeek的应用热度不断攀升,据不完全统计,仅...
新华三:2025年SDWAN技... 今天分享的是:新华三:2025年SDWAN技术白皮书 报告共计:53页 新华三《2025年SDWAN...
三星Galaxy S25 Ed... 近期,知名科技评测频道JerryRigEverything发布了一则深度解析视频,主角是三星最新旗舰...
类地生命新希望?科学家发现“超... 在广袤无垠的宇宙探索之旅中,人类始终怀揣着一个梦想:我们是否是宇宙中唯一的生命存在?这一疑问激发着科...
英伟达股价暴涨近3%反超微软 ... 【环球网科技综合报道】6月4日消息,美东时间6月3日,全球半导体巨头英伟达以2.8%涨幅收盘至141...
iPhone 18 Pro配置... 6月4日消息,苹果产业链分析师Jeff Pu在最新报告中提到,iPhone 18 Pro系列和苹果折...
三星Galaxy S25 Ed... 近期,知名科技拆解频道JerryRigEverything发布了一段引人注目的视频,深入剖析了三星最...
微软确认Windows 11预... 快科技6月4日消息,微软确认,名为“Edit”的全新文本编辑器,将很快随Windows 11一起发布...
iPhone 18系列设计关键... 6月4日消息,据外媒报道称,苹果分析师Jeff Pu最新预测显示,iPhone 18 Pro、iPh...
交通银行盐城分行开展科技活动周... 为深入贯彻落实国家关于金融科技发展的规划政策,推动金融科技创新成果惠及民生。近日,交通银行盐城分行以...
海尔智家获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示海尔智家(600690)新获得一项发明专利授权,专利名为“一种...
温州鹿城“银龄弄潮儿”玩转De... 潮新闻客户端 通讯员 周心茹 “原来这个AI不只是年轻人的工具!”近日,在温州市鹿城区松台街道菱藕社...
华茂股份获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示华茂股份(000850)新获得一项实用新型专利授权,专利名为“...
合亿Gutab:助力智能工厂升... 随着工业4.0的快速推进,智能化生产成为现代制造业的关键趋势。在这一过程中,工厂中的工作人员对于高效...