黑土地开鲜花,昇腾算力炼出准万亿领先大模型
创始人
2025-05-31 00:41:27
0

近日,华为在MoE模型训练领域再进一步,重磅推出参数规模高达7180亿的全新模型——盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告,披露众多技术细节,充分体现了昇腾在超大规模MoE训练性能上的跨越。

训练超大规模和极高稀疏性的 MoE 模型极具挑战,训练过程中的稳定性往往难以保障。针对这一难题,盘古团队在模型架构和训练方法上进行了创新性设计,成功地在昇腾平台上实现了准万亿 MoE 模型的全流程训练。

在模型架构上,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。此外,他们还提出了 EP loss 负载优化方法,这一设计不仅保证了各个专家之间较好的负载均衡,也提升了专家的领域特化能力。同时,盘古Ultra MoE使用了业界先进的MLA和MTP架构,在预训练和后训练阶段都使用了Dropless训练策略,实现了超大规模MoE架构在模型效果与效率之间的最佳平衡。

在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上,高效打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。同时,在5月初发布的预训练系统加速技术基础上,在不到一个月的时间内,华为团队又完成了一轮迭代升级,包括:适配昇腾硬件的自适应流水掩盖策略,进一步优化算子执行序,进一步降低Host-Bound以及提升EP通信的掩盖;自适应管理内存优化策略的开发;数据重排实现DP间Attention负载均衡;以及昇腾亲和的算子优化,这些技术实现万卡集群预训练MFU由30%大幅提升至41%。

此外,近期发布的盘古Pro MoE大模型,在参数量仅为720亿,激活160亿参数量的情况下,通过动态激活专家网络的创新设计,实现了以小打大的优异性能,甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。

华为盘古Ultra MoE和盘古Pro MoE系列模型的发布,证明华为不仅完成了国产算力+国产模型的全流程自主可控的训练实践,同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设施的自主创新能力得到了进一步验证,为中国人工智能产业的发展提供了一颗“定心丸”。

#国产昇腾训出世界一流大模型

校对:张彦君

相关内容

热门资讯

海尔智家获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示海尔智家(600690)新获得一项发明专利授权,专利名为“一种...
温州鹿城“银龄弄潮儿”玩转De... 潮新闻客户端 通讯员 周心茹 “原来这个AI不只是年轻人的工具!”近日,在温州市鹿城区松台街道菱藕社...
华茂股份获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示华茂股份(000850)新获得一项实用新型专利授权,专利名为“...
合亿Gutab:助力智能工厂升... 随着工业4.0的快速推进,智能化生产成为现代制造业的关键趋势。在这一过程中,工厂中的工作人员对于高效...
天问二号要去的两颗星有多特别? □ 本报记者 蔡姝雯 5月29日凌晨,天问二号探测器成功发射,正式开启中国首次小行星采样返回与彗星伴...
小鹏宣布与华为战略合作,新车将... 新浪科技讯 6月4日上午消息,小鹏汽车今日在官微发文宣布与华为战略合作,新车将搭载华为HUD解决方案...
俄勒冈大学团队:大模型如何组织... 在 人工智能快速发展的今天,大语言模型(LLM)已成为我们日常生活中不可或缺的一部分,从回答问题到提...
冠柏电子取得耐高压导热管专利,... 金融界2025年6月4日消息,国家知识产权局信息显示,东莞市冠柏电子科技有限公司取得一项名为“一种耐...
三星官宣新款Ultra级折叠屏... 【CNMO科技消息】6月4日,CNMO了解到,三星海外账号正式官宣新款折叠屏手机,这将是三星旗下首款...
“2025福布斯中国人工智能科... 2025年,中国人工智能产业越来越多地从实验室走向市场。随着社会结构转型与产业升级加速,AI技术正在...
5G六周年|北邮教授曾剑秋:中... C114讯 6月3日消息(颜翊)2025年6月6日,5G商用牌照发放六周年。 六年来,我国累计建成开...
原创 华... 随着友商在618活动中开始了一轮又一轮的价格战以后。作为国产智能手机老大哥的华为手机,不得不做出积极...
原创 为... 我们打开智能手机里的每一个APP,首先得看一个弹出广告;打开电视,更是要看多遍广告,首先开机就得忍受...
《AI人工智能趋势报告》中英文... 这可能是近期最火爆的报告。互联网女皇 Mary Meeker玛丽·米克尔 沉寂多年后,携一份340 ...
新研究挑战传统观点:水铁矿可能... IT之家 6 月 4 日消息,数百年来,科学家们一直想知道为什么火星是红色的。长期以来的理论认为,这...
原创 美... 随着2025年的美国500强榜单正式公布,我们得以一窥这一年里美国商业世界的风云变幻。沃尔玛再次凭借...
苏州纽威阀门申请球阀专利 有利... 金融界2025年6月3日消息,国家知识产权局信息显示,苏州纽威阀门股份有限公司申请一项名为“球阀”的...
法律拉锯战升温,消息称苹果或砍... IT之家 6 月 4 日消息,据外媒 9to5Mac 昨晚报道,苹果与欧盟之间的法律拉锯战仍在持续,...
京东方申请一种涉及显示技术领域... 金融界2025年6月3日消息,国家知识产权局信息显示,京东方科技集团股份有限公司;成都京东方光电科技...
今年618,李佳琦们为何不“香... 尽管直播电商尚谈不上所谓的“退潮”,但不可否认的是,这个行业的确已经变得更加理性,曾经依靠主播个人魅...