苹果推出DeepPCR 神经网络训练和推理速度提升7倍_资讯

创始人

2024-01-08 20:27:55

0次

2023-12-16 15:40:05 作者：姚立伟

12月16日，苹果公司发布了一项名为DeepPCR的机器学习算法。该算法通过并行处理常规顺序操作，可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务，但由于计算需求过大，神经网络训练和反馈结果的时间可能需要数天或者数周。

目前广泛采用的并行化技术可以加速训练和推理速度。然而，在神经网络中的一些操作仍然是按顺序完成的，这些进程包括扩散模型通过一系列去噪阶段生成输出，并且逐层向前和向后传递。随着步骤数的增加，这些进程的顺序执行在计算上变得昂贵，可能会导致计算瓶颈。

为了解决这个问题，苹果公司科研团队推出了DeepPCR算法，并进一步加快了神经网络的训练和推理速度。他们采用了平行循环还原（PCR）算法来检索解决方案，将顺序过程中的计算成本从O(L)降低到O(log2 L)，降低了复杂性并提高了运行速度。

据团队介绍，在多层感知器中部署DeepPCR算法后，前向和后向传递的速度分别提升了30倍和200倍。DeepPCR是一种用于并行化神经网络训练和推理中顺序过程的创新方法。它的主要特点是能够将计算复杂度从O(L)降低到O(log2 L)，其中L是序列长度。

DeepPCR已被用于并行化多层感知器中的前向和后向传递，并对其性能进行了广泛的分析，以确定该方法在高性能状态下的应用效果。同时考虑了基本设计参数。结果显示，DeepPCR显示出显著的加速效果，恢复ResNet训练数据所需时间提高了7倍，扩散模型创建所需时间提高了11倍。

民政部康复辅助器具重点实验室“... 深圳商报·读创客户端记者赵鸿飞 2025年5 月17日，在深圳召开的第十三届国际骨科康复学术会议暨...

华晖五金取得防夹损的机械手夹具... 金融界 2025 年 5 月 17 日消息，国家知识产权局信息显示，东莞市华晖五金制品有限公司取得一...

全国首条全自动辐射板生产线在綦... 保温上料、铝板上料、盘管、检测、涂胶、刻印……5月13日，全国首条全自动辐射板生产线在重庆綦桥科技有...

原创纪... 2016年，王亚平正处于事业的巅峰期，她的名字在宇航员队伍中熠熠生辉，成为了无数人心中的榜样。这位充...

报告：国家哲学社会科学文献中心... 北京5月17日电 (记者李京泽)“学术期刊高质量发展研讨会暨国家哲学社会科学文献中心最受欢迎期刊报...

促消费四川解锁新赛道首个全域... 四川日报全媒体记者陈碧红 ●从5月16日持续至6月15日，采用全域联动模式，覆盖全省超1.1万家线...

天津康途取得电梯通用内招控制系... 金融界2025年5月17日消息，国家知识产权局信息显示，天津康途科技有限公司取得一项名为“一种电梯通...

深圳市整点科技取得新型鼻毛器专... 金融界2025年5月17日消息，国家知识产权局信息显示，深圳市整点科技有限公司取得一项名为“一种新型...

新质生产力的壮美图景第19届杭州亚运会组织无人机表演，由1000架无人机组成了一个奔跑的“人”。湖北武汉一列无人驾驶...

雄安变电站处处彰显 ″雄安质量... 中国经济报导：初夏的雄安新区，塔吊林立的建设工地上，一座银灰色的 "钢铁堡垒" 正拔地而起。走进 5...

原创 6... 618大促已经开始，不少用户准备在618期间选购一款旗舰手机，那么2025年哪些旗舰手机值得考虑？2...

上海英奇取得防碰撞测试用实验台... 金融界2025年5月17日消息，国家知识产权局信息显示，上海英奇电气科技有限公司取得一项名为“一种防...

2025中国数谷·西湖论剑大会... 5月10日，主题为“数智无界安全共生”的 2025中国数谷·西湖论剑大会在杭州召开。中国数谷是中...

中国电信（澳门）推出“湾区权益... 人民网澳门5月17日电 (记者富子梅)记者从中国电信(澳门)有限公司于16日举行的“服务澳门二十载，...

脑机接口技术助残疾人提升生活自... 新华社广州5月18日电（记者马晓澄）赵晋（化名）是一名23岁的年轻父亲，在一次意外事故中受伤，导致高...

苏州艾思泰取得双加工线切换机构... 金融界2025年5月17日消息，国家知识产权局信息显示，苏州艾思泰自动化设备有限公司取得一项名为“一...

我国自主研发，拿证了！据海洋石油工程股份有限公司设计院16日消息，该院自主研发的5万立方米全潜式深远海智能渔业平台设计方案...

去年我国卫星导航与位置服务产业... 2024年，我国卫星导航与位置服务产业总体产值达到5758亿元人民币，同比增长7.39%。北斗系统服...

测试材料阻燃性，为什么要进行水... 一、进行水平燃烧和垂直燃烧实验的主要原因在于模拟材料在不同实际应用场景中的燃烧行为，以研究燃烧方向对...

腾讯、北京机器人基金布局具身智... 4 月 14 日消息，36 氪“硬氪”今日放出消息称，家庭清洁服务机器人公司云鲸智能完成 1 亿美元...