联发科与阿里云联合率先实现大模型芯片级适配
创始人
2024-03-28 15:39:36
0次
本报记者 袁传玺
3月28日，阿里云与知名半导体公司MediaTek（即联发科技股份有限公司，是全球第四大无晶圆厂半导体公司）联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线流畅运行即时且精准的多轮AI对话应用，连续推理功耗增量不到3W，实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配，仅依靠终端算力便能拥有极佳的推理性能及功耗表现，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理，可大幅降低推理成本、保证数据安全并提升AI响应速度，让大模型可以更好地为用户提供个性化体验。然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、算子不支持、开发待完善等诸多挑战。
据了解，通义千问18亿参数开源大模型，在多个权威测试集上性能表现远超此前SOTA模型，且推理2048token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790，生成式AI处理速度是上一代AI处理器的8倍。
阿里巴巴通义实验室业务负责人徐栋介绍称，阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。
（编辑 张明富）
相关内容
热门资讯
精准医疗迎来“关键年”，AI如...
2025年被业界普遍认为是精准医疗发展的关键节点。生物药和先进疗法曾掀起了两次药物开发的技术创新浪潮...
「寻芯记」冲刺科创板！AMD与...
本报（chinatimes.net.cn）记者石飞月 北京报道 在英伟达长期垄断的GPU战场，一家融...
最大不明物体正朝着地球飞来，1...
▲A11pl3Z 近日，天文学家确认观测到一个穿越太阳系的星际物体——这是人类迄今发现的第三个星际访...
地球最古老岩石的新证据可能被发...
据新华社华盛顿电 加拿大渥太华大学等机构研究人员6月26日在美国《科学》杂志发表论文说，位于加拿大东...
重庆城市科技学院科学研究处赴重...
为深化重庆高校之间的科研合作并共同探索科研管理的新途径，2025年5月18日，重庆城市科技学院科学研...
大简光学取得一种双视觉对位装置...
金融界2025年7月5日消息，国家知识产权局信息显示，深圳大简光学有限公司取得一项名为“一种双视觉对...
轻创业项目有哪些：小红书手写文...
想不想找到一个能安安静静做的副业？今天想跟你分享一个特别有温度的项目——在小红书上靠手写情感文案赚钱...
长高电新获得发明专利授权：“一...
证券之星消息，根据天眼查APP数据显示长高电新（002452）新获得一项发明专利授权，专利名为“一种...
投诉达479起！雷军力挺YU7...
近日，小米YU7上市后的舆论风波仍在加剧。 7月3日，《国际金融报》记者发现，部分购车用户在小红书、...
中鑫投智慧城市建设取得防水防尘...
金融界2025年7月5日消息，国家知识产权局信息显示，中鑫投智慧城市建设有限公司取得一项名为“一种防...
太原：科技创新激发“新动能”
中国电子科技集团第二研究所研制的国内首条毫米波陶瓷器件封装智能生产线，填补了我国混合集成电路智能封装...
广东贝导智能科技取得制冷系统和...
金融界2025年7月5日消息，国家知识产权局信息显示，广东贝导智能科技有限公司取得一项名为“制冷系统...
山东众强金属申请彩涂行业VOC...
金融界2025年7月5日消息，国家知识产权局信息显示，山东众强金属材料有限公司申请一项名为“一种基于...
何苏六：听！这是一部有“识别度...
央广网北京7月5日消息（记者郭薇）央广网特别策划的《沿着纬度听中国》大型地理人文纪录片，将于7月7日...
这场科普盛宴 在孩子们脑海里植...
6月至7月，南通市关工委联合南通大学人工智能与计算机学院“智子方舟”团队，在带队老师徐璐璐的统筹协调...
紧抓前沿机遇，专家热议AI赋能...
AI技术作为国家战略性新兴领域的颠覆性力量，正以前所未有的速度与各行业深度融合，为央国企转型带来新机...
开箱一台一加13 蓝调时刻
大家好，我是波导终结者。 最近我老爹问我说，现在国补手机是不是不要钱了，啊？！仔细一了解，原来是他...
原创 行...
7月4日，由海尔牵头的国家重点研发计划“智能传感器”重点专项——“基于宽谱增敏超材料的热电堆红外阵列...
立际智能取得无破损双向矩阵预分...
金融界2025年7月5日消息，国家知识产权局信息显示，立际智能设备（上海）有限公司取得一项名为“无破...
华宝新能获得实用新型专利授权：...
证券之星消息，根据天眼查APP数据显示华宝新能（301327）新获得一项实用新型专利授权，专利名为“...