苹果推出 DeepPCR 算法：加速神经网络训练和推理能力
创始人
2024-01-08 17:17:55
0次
IT之家 12 月 16 日消息，苹果公司近日发布了 DeepPCR 机器学习算法，通过并行处理常规顺序操作，可以加速神经网络的推理和训练。
神经网络已能处理文本或图片合成、分割和分类等复杂任务。不过由于计算需求过大，神经网络训练和反馈结果的时间可能需要数天或者数周。
神经网络处理过程中，目前广泛采取并行化技术，可以加速训练和推理速度。
不过神经网络中的一些操作仍然是按顺序完成的，扩散模型通过一系列的去噪阶段生成输出，并且逐层进行向前和向后传递，随着步骤数的增加，这些进程的顺序执行在计算上变得昂贵，可能会导致计算瓶颈。
苹果公司科研团队为了解决这个问题，推出了 DeepPCR 算法，进一步加速了神经网络的训练和推理。
该团队采用了平行循环还原（PCR）算法来检索该解决方案，将顺序过程的计算成本从 O（L）降低到 O（log2 L），降低了复杂性，提高了运行速度。
团队表示多层感知器中部署 DeepPCR 算法之后，并行化前向和后向通过，实现了最高 30 倍的前向传递速度和最高 200 倍的向后传递速度。
IT之家附上 DeepPCR 算法主要结论如下：
- DeepPCR 是一种用于在神经网络训练和推理中并行化顺序过程的创新方法。它的主要特点是能够将计算复杂度从 O（L） 降低到 O（log2 L），其中 L 是序列长度。
- DeepPCR 已用于并行化多层感知器 （MLP） 中的前向和后向传递，还对该技术的性能进行了广泛的分析，以确定该方法的高性能状态，同时考虑基本设计参数。
- DeepPCR 已被用于加速 MNIST 上的深度 ResNet 训练，以及在 MNIST、CIFAR-10 和 CelebA 数据集上训练的扩散模型的生成。结果表明，虽然 DeepPCR 显示出显著的加速，将 ResNet 训练的数据恢复速度提高了 7×，扩散模型创建速度提高了 11×。
相关内容
热门资讯
人工智能教育指南深意何在
徐向东 近日，教育部基础教育教学指导委员会发布《中小学人工智能通识教育指南(2025年版)》和《中小...
AI上美好家 生活更简单
5月15日，中国电信浙江公司举办“AI上美好家 生活更简单”发布会，正式宣布中国电信“美好家”品牌全...
vivo大折叠屏新机最早6月发...
对于vivo后续的折叠屏系列新机，近期已有多方爆料。 昨日，博主@数码闲聊站 发文透露了一款骁龙 8...
“微信过期图片可找回”登热搜，...
5月15日，话题“原来微信过期图片是可以找回的”登上热搜，并且有网友给出了所谓的“详细教程”。 但...
微观雨林探秘·百变镰客｜巨腿螳
原标题：微观雨林探秘·百变镰客 | 巨腿螳 编者按：热带雨林，本就是大自然鬼斧神工雕琢出的神秘王国。...
原创 中...
最近有个大新闻刷屏——咱们国家正在紧锣密鼓地打造全球最大规模的算力卫星网络，计划发射2800颗卫星组...
全力助推人工智能和机器人产业加...
羊城晚报讯 5月14日至15日，省人大常委会主任黄楚平到深圳市，就深入学习贯彻习近平总书记关于建设现...
雷军官宣小米造芯 命名玄戒O1...
【太平洋科技快讯】小米创始人雷军通过社交媒体正式宣布，“小米自主研发设计的SoC芯片，名字叫玄戒O1...
AI助力深圳眼镜产业向高向新
随着智能技术赋能、时尚消费驱动、眼睛健康管理越来越受重视，AI眼镜、用眼行为监测智能眼镜、运动骑行等...
聚焦这些话题！2025世界数字...
5月15日，2025世界数字教育大会举行了10场平行会议，主题涵盖基础教育、职业教育、高等教育、终身...
2025搜狐科技年度论坛嘉宾介...
陈鹏飞 南京大学天文与空间科学学院教授 个人简介 陈鹏飞，南京大学天文与空间科学学院教授，2016年...
重庆：数字化城市呼之欲出
2025年4月19日晚，“魅力重庆”无人机灯光秀在重庆两江四岸核心区进行展演。图/黄伟 21世纪，随...
省通信管理局举办工业互联网标识...
本报太原5月15日讯（记者 王龙飞）在数字经济与实体经济深度融合的浪潮下，工业互联网标识正成为我省产...
百度秒收录,网站快速收录机制-...
在网站运营中，"百度秒收录"是每个站长都渴望实现的目标。本文将从技术架构优化到内容建设策略，系统解析...
这类隔夜菜宁愿倒掉也别吃！ 尤...
今年开始带饭啦！ 主要是我家大厨已经退休，每天有人变着花样，给安排各种好吃的！先给大家看看我近期的猪...
南京自动驾驶物流车上线试运行
晨报讯（南京晨报/爱南京记者 陈彦）近日，记者从南京市交通集团获悉，该集团下属的领创智驾科技（江苏）...
小米自研手机芯片来了！雷军官宣...
小米十年造芯道路即将开花结果，自研SoC芯片"玄戒O1"本月就将发布。 继苹果、三星、华为后，小米成...
桦川县举行首届中小学科技营系列...
5月14日，佳木斯市桦川县2025年首届中小学科技营实验小学分营开营仪式在桦川县实验小学体育馆举办。...
深圳机器人企业迎来“巨头时刻”
深圳在具身智能领域具备“技术+制造+场景”三重优势。（优必选供图） 深圳商报首席记者 袁静娴 5月1...