原创 如何让生成式AI真正造福未来?高通提出解决之道
创始人
2024-07-31 08:21:53
0

生成式AI到底有多强大?

面对这个问题,可能不同人都会有不一样的看法。譬如作家、画师,或许就已经切实感受到了生成式AI对于自身的影响,而对于普通消费者来说,许多人可能只是模糊地觉得这是个挺“万能”的新技术,但对其真正的潜力则并无一个明确、可量化的认知。

就在最近举行的ChinaJoy AIGC大会期间,来自高通技术公司的副总裁兼产品、合作伙伴和技术市场全球负责人Mike Roberts,则给出了一份最新的观点。

根据他此次所展示的数据显示,生成式AI技术预计每年可带来2.6万亿到4.4万亿美元的经济效益,大约相当于2023年上海GDP的5倍。

生成式AI虽是未来,但也有不小的隐忧

但是在潜在收益巨大的同时,Mike Roberts还指出,如今生成式AI技术本身其实也有着不小的隐忧。

这些隐忧主要体现在生成式AI快速增长的需求,以及它目前尚不够先进的处理方式之间的矛盾上。根据预测显示,从2024年至2028年,生成式AI相关的token生成量将增长150 倍,云端推理需求将超过训练需求。而在当前的技术体系下,单次生成式AI搜索的推理成本大约是传统网络搜索的约10倍。

由此Mike Roberts也提出了警告,如果AIGC行业一直保持现有的处理方式,那么到了2023年,它所需消耗的电力将可能会达到全球总电能消耗的3.5%,相当于同期上海这样的城市一年用电量的35倍之多。

如何优化生成式AI的能效?高通提出了解决方案

很显然,我们无法拒绝生成式AI潜在的巨大经济效益,但也绝对不可能漠视它当下糟糕的能效比。那么,要如何才能让生成式AI更省电、更高效呢?

Mike Roberts指出,目前行业其实已经意识到了解决之道,那就是将部分生成式AI的工作负载从云端转移到低功耗的设备端,同时通过先进的互联网技术,实现云端和设备端更高的通信带宽和更低的延迟。最终这将帮助云端和设备端的算力实现协同工作,也就是实现“混合AI”的计算方式。根据预测显示,如果能将20%的工作负载从云上转至端侧,那么到了2028年,就能节约160亿美元左右的计算资源成本。

看到这里,可能有些朋友会产生疑问。为什么将生成式AI的计算负载从云端转到设备端,就能省电和节约成本呢,是因为设备端的计算架构更高效,还是别的原因呢?

一方面,从计算过程上来说,设备端生成式AI的最大好处,是它的信息处理流程短。数据从输入、机内处理到输出,免去了网络上传下载的过程(以及因此而来的能源消耗),同时也可以更好地保护用户隐私。

另一方面从计算方式上说,不同于云端生成式AI主要靠GPU集群进行单一架构的并行计算,高通作为早在15年前就已经开始发力移动端AI的先驱,如今更是在他们的骁龙平台上构建起了行业中少见、成熟的异构生成式AI计算体系。

在这一体系里,高通拥有行业内性能领先、专为生成式AI打造的神经网络处理器(NPU),与此同时,他们更拥有目前移动平台里极少见的自主架构Oryon CPU和Adreno GPU。与竞争对手所使用的公版方案相比,高通的“全自研”计算架构就意味着其CPU、GPU和NPU可以更好地进行性能与计算能力的互补,并在执行生成式AI任务时实现“异构协同”,共同加速设备的生成式AI速度,最终实现更高的能效比。

加速端侧AI落地,骁龙平台多维度进击

当然,无数行业的实践经历告诉我们,仅有先进的、自主的设计并不完全就意味着更好的最终效能。好在高通作为目前移动设备和移动生成式AI生态的领军企业,在端侧AI体验的最终落地方面提前做了不少“功课”。

比如在前段时间,高通刚刚联合微软以及诸多头部PC厂商,推出了20余款搭载骁龙X Elite和骁龙X Plus平台的产品。这些最新世代的“骁龙本”一方面优先得到了Windows 11 24H2系统的AI特性适配,支持包括实时翻译、实时转译、AI照片编辑、文本总结、写作辅助等丰富的AI功能。

另一方面,在高通与合作伙伴的共同努力下,最新的骁龙X系列PC平台的NPU也逐渐被越来越多的第三方软件接纳。在视频编辑、音乐制作,甚至3A游戏中,这一具备45TOPs算力的顶级PC NPU都可以发挥出它的加速作用。

与此同时,在更多消费者日常接触的智能手机上,来自骁龙移动平台所提供的端侧生成式AI能力,更是早已被终端厂商“玩出了花”。无论是三星Galaxy S24系列所提供的端侧通话实时翻译,还是OPPO Find X7 系列的端侧照片路人消除,亦或荣耀Magic6系列的端侧视频生成功能,都很生动地展示了骁龙移动平台如今在端侧生成式AI方面的强悍性能和功能灵活性。

不仅如此,根据Mike Roberts公布的相关信息显示,高通方面目前正在将自研Oryon CPU,以及更强大的端侧生成式AI性能引入未来的智能手机平台、车载平台,甚至是工业物联网设备。而借助高通AI软件栈这个统一的解决方案,所有不同用途、不同规格的骁龙平台都可以共享来自官方的高通AI模型增效工具包(AIMET),从而大幅加快上述端侧异构生成式AI技术落地的速度,并为最终“混合AI”的降临做好准备。

相关内容

热门资讯

原创 中... 在人类逐梦太空的伟大征程中,航天服,无疑是宇航员们最为贴身且至关重要的“生命铠甲”。 然而,当对比中...
”增强人类” vs “机器换人... 8月8日~12日,2025世界机器人大会(WRC)在北京亦庄北人亦创国际会展中心圆满举行,近百万名观...
平高电气等公布“一种断路器与三... 天眼查APP显示,近日,天津平高智能电气有限公司,河南平高电气股份有限公司申请的“一种断路器与三工位...
华菱线缆公布“一种基于电缆表面... 天眼查APP显示,近日,湖南华菱线缆股份有限公司申请的“一种基于电缆表面特征监测的电阻预测方法”专利...
鑫磊防护取得人防通风智能控制箱... 金融界2025年8月23日消息,国家知识产权局信息显示,福建省鑫磊防护设备有限公司取得一项名为“一种...
迦南科技公布“一种便于对物料进... 天眼查APP显示,近日,浙江迦南科技股份有限公司申请的“一种便于对物料进行定位的链条层间提升机”专利...
海南将防汛防风Ⅲ级应急响应提升... 海南省防灾减灾救灾委员会 关于将防汛防风Ⅲ级应急响应提升至 Ⅱ级应急响应的通知 各市、县、自治县防汛...
时事开讲第261期|科技热浪,... 潮新闻客户端 记者 郭闻 1 这个夏天,科技新闻与天气一样热,从太空到海底到大地,各类有关科技最新研...
科技创新赋能 中小企业迸发发展... 在东营广大金科机器人有限公司的生产车间内,一台新研发上市的热成形生产设备正加紧调试安装。这款热成形加...
月球“休眠”为何还有火山喷发?... (来源:辽宁日报) 转自:辽宁日报 新华社记者 胡喆 马晓澄 已经“休眠”的月球,依然发生火山喷发,...
图像缩放攻击突破Google ... 来源:至顶网 Trail of Bits的安全研究人员发现,Google Gemini CLI和其...
东莞深赤湾港务取得地磅防窜动装... 金融界2025年8月23日消息,国家知识产权局信息显示,东莞深赤湾港务有限公司取得一项名为“地磅防窜...
济南德沃德取得数控钻浮动台面结... 金融界2025年8月23日消息,国家知识产权局信息显示,济南德沃德自动化科技有限公司取得一项名为“一...
科普丨罕见 “黑月” 即将来临... 23日,我们将迎来一个罕见的天文现象“黑月”。这一听起来神秘莫测的语汇,其实并不是指月亮“黑化”了,...
微软邀测 Win11 音乐播放... IT之家 8 月 23 日消息,科技媒体 The Verge 今天(8 月 23 日)发布博文,报道...
山东厚德取得伸缩囊套安装基座专... 金融界2025年8月23日消息,国家知识产权局信息显示,山东厚德设备制造有限公司取得一项名为“一种伸...
科学与健康丨月球“休眠”为何还... 来源:滚动播报 (来源:中工网) 已经“休眠”的月球,依然发生火山喷发,是何原因? 从嫦娥五号到嫦娥...
冠石科技“基于圆切的张力多功能... 天眼查APP显示,近日,南京冠石科技股份有限公司申请的“基于圆切的张力多功能控制平台与方法”专利获授...
科学家需要多少数学? 作者:E.O. Wilson,E. Frenkel 2013年4月5日的《华尔街邮报》发表了哈佛生物...
歌尔股份取得发声单体和电子设备... 金融界2025年8月23日消息,国家知识产权局信息显示,歌尔股份有限公司取得一项名为“发声单体和电子...