百度智能云 点亮昆仑芯三代万卡集群
创始人
2025-02-08 00:21:18
0

万卡集群优势凸显,助力算力突破与成本优化

万卡集群的建成不仅为百度带来了强大的算力支持,还推动了模型降本的趋势。在过去一年中,整个行业都在努力降低大模型的使用成本,而算力紧张是导致成本居高不下的重要因素之一。

百度通过自研芯片和大规模集群的建设,不仅解决了自身算力供应的问题,还为整个行业提供了新的思路和方向。从算力上看,超大规模并行计算能力可实现训练效率跃升,万卡集群可将千亿参数模型的训练周期大幅降低,满足AI原生应用快速迭代的需求。同时也能支持更大模型与复杂任务和多模态数据,支撑Sora类应用的开发。此外,万卡集群能够支持多任务并发能力,通过动态资源切分,单集群可同时训练多个轻量化模型,通过通信优化与容错机制减少算力浪费,实现训练成本指数级下降。

随着国产大模型的兴起,万卡集群逐渐从“单任务算力消耗”到“集群效能最大化”过渡,通过模型优化、有效训练率提升、动态资源分配等手段,智能调度任务,将训练、微调、推理任务混合部署,从而提升集群综合利用率,降低单位算力成本。

百舸赋能,全方位提升集群性能与稳定性

过去,多芯混训和激增的故障率等难题,成为万卡集群部署过程中的巨大挑战。而2024年9月升级的百度百舸AI异构计算平台4.0(以下简称“百舸平台”),在万卡集群的建设中发挥了至关重要的作用。

百舸4.0构建了十万卡级别的超大规模HPN高性能网络,针对跨地域通信中的高延迟问题,通过优化的拓扑结构、多路径负载均衡策略及通信策略,实现了几十公里的跨地域通信。在通信效率上,百舸通过先进的拥塞控制算法和集合通信算法策略,将带宽有效率提升至95%,实现了完全无阻塞,并通过10ms级别超高精度网络监控,保障了网络的稳定性。

在多芯混训方面,百舸展现了强大的资源整合能力。它能够将不同地点、不同规模的异构算力进行统一管理,构建起多芯资源池。此外,在集群稳定性方面,百舸提供了全面的故障诊断手段,能够快速自动侦测到导致训练任务异常的节点故障。百度自研的BCCL(百度集合通信库)能够快速定位故障并提供自动化的容错能力,将故障恢复时间从小时级降低到分钟级,极大地提高了集群的可靠性和可用性。

日前,花旗银行发布研报表示,DeepSeek、百度等中国模型展现出高效和低成本优势,将有助于加速全球AI应用开发,并在全球引发更多技术创新,推动2025年人工智能应用的拐点的到来。中国工程院院士、清华大学计算机系教授郑纬民也表示,当下构建国产自主万卡系统充满挑战,但至关重要。

南京晨报/爱南京记者 杨静

相关内容

热门资讯

“AI医生”加速进化!两天完成... 转自:上观新闻 清华大学智能产业研究院院长张亚勤近日在接受第一财经的电视节目采访时表示,AI医院用...
华为下半年新机曝光:9月发布M... 7月8日消息,今年华为Pura 80系列已经发布,下半年将会是Mate系列的天下。 博主“超维界”曝...
百余台机器人员工战高温保供电 机器狗走出窝 无人机飞出巢 百余台机器人员工战高温保供电 湖北日报全媒记者 彭一苇 通讯员 孔韬 ...
淘宝大战美团,他们怎么又搞了个... 又要到饭了,兄弟们! 免费的果汁, 6 毛的可乐, 4 块的奶茶,这个周末的外卖大战,差评君就差没把...
海尔智家获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示海尔智家(600690)新获得一项实用新型专利授权,专利名为“...
国家网络安全通报中心:发现一批... 据微信公众号“国家网络安全通报中心”7月7日消息,中国国家网络与信息安全信息通报中心通过支撑单位发现...
大学里的普通物理学:涵盖多领域... 大学里的普通物理学课程包括了力学、热学、电磁学、光学以及现代物理等多个领域,对于理工科学生来说,这是...
罗马仕充电宝充电再爆炸,召回风... 本文基于以下微博话题的智搜结果生成 以下为关于「罗马仕充电宝充电爆炸」事件的核心信息整合,结合时间线...
诚志永华申请液晶组合物及其应用... 金融界2025年7月7日消息,国家知识产权局信息显示,石家庄诚志永华显示材料有限公司申请一项名为“液...
海尔智家获得发明专利授权:“燃... 证券之星消息,根据天眼查APP数据显示海尔智家(600690)新获得一项发明专利授权,专利名为“燃气...
浙江首例,国产显微外科机器人在... 017日上午,宁波市第六医院院长王欣查看61岁王阿姨手部术后情况,诊断移植皮瓣血运良好,此为浙江省首...
防御台风“丹娜丝” 瑞安639... 为应对今年4号台风“丹娜丝”,7月6日下午,市农业农村局海洋与渔业执法大队在飞云江流域进行巡逻,排查...
航天中心医院苏家坨院区将于今年... 新京报讯 据“北京海淀”微信公众号消息,位于海淀区北部的航天中心医院苏家坨院区即将于今年下半年正式投...
湖北荆州打造绿色智慧用能示范医... 一站式绿色智慧用能服务中心。 在医院的一站式绿色智慧用能服务中心大厅,屏幕上用能数字在不断变幻跳动,...
“AI+绿色发展”:为守护绿水... 6日,“AI+绿色发展”论坛作为2025年生态文明贵阳国际论坛的系列活动之一在贵阳举办。 国内AI领...
太赫兹+声波!我国科学家使无针... 新华社天津7月7日电近日,我国科研人员开发了一种新型太赫兹光声系统,在无针诊断领域迈出了重要一步。该...
原创 哈... 摘要:近日,上海昇视唯盛科技有限公司携“激光+地轨+悬臂”全场景智能机器人工作站方案在第28届埃森展...
全国首个深空探测领域国际科技组... 据安徽省人民政府消息,国际深空探测学会成立大会7月7日在安徽合肥举行,这是全国首个深空探测领域国际科...
沧州为现代农业装上“智慧大脑” 建设示范园区 应用大数据技术 推广智能农机装备 沧州为现代农业装上“智慧大脑” 河北日报客户端讯(记...
荐读•悦科普 |《现实不似你所... 爱科普,读科普 悦科普,尽在数读空间 推荐语: 陈嘉映盛赞的物理学家卡洛·罗韦利重磅作品,带你在《七...