苹果开源FastVLM视觉语言模型 为智能穿戴设备铺路
创始人
2025-05-13 19:42:13
0次
【太平洋科技快讯】5月13日，苹果机器学习团队在GitHub上发布并开源了一款新型视觉语言模型(VLM)——FastVLM。该模型提供0.5B、1.5B和7B三个版本，基于苹果自研的MLX框架开发，并借助LLaVA代码库进行训练，专为Apple Silicon设备的端侧AI运算进行了优化。
FastVLM的核心是一个名为FastViTHD的混合视觉编码器。该编码器专为在高分辨率图像上实现高效的VLM性能而设计，其处理速度较同类模型提升3.2倍，体积却仅有3.6分之一。FastViTHD通过减少令牌输出量并显著缩短编码时间，实现了性能的飞跃。
根据技术文档显示，FastVLM在保持精度的前提下，实现了高分辨率图像处理的近实时响应，同时所需的计算量比同类模型要少得多。最小模型版本(FastVLM-0.5B)的首词元响应速度比LLaVA-OneVision-0.5B模型快85倍，视觉编码器体积缩小3.4倍。搭配Qwen2-7B大语言模型版本，使用单一图像编码器即超越Cambrian-1-8B等近期研究成果，首词元响应速度提升7.9倍。
苹果技术团队指出，基于对图像分辨率、视觉延迟、词元数量与LLM大小的综合效率分析，他们开发出了FastVLM。该模型在延迟、模型大小和准确性之间实现了最优权衡。该技术的应用场景指向苹果正在研发的智能眼镜类穿戴设备。多方信息显示，苹果计划于2027年推出对标Meta Ray-Bans的AI眼镜，同期或将发布搭载摄像头的设备。
FastVLM的本地化处理能力可有效支持此类设备脱离云端实现实时视觉交互。MLX框架允许开发者在Apple设备本地训练和运行模型，同时兼容主流AI开发语言。FastVLM的推出证实苹果正构建完整的端侧AI技术生态。
相关内容
热门资讯
中科院院士、细胞生物学家孙大业...
中国科学院院士、细胞生物学家、无党派代表人士、河北师范大学生命科学学院教授孙大业先生，因病医治无效，...
苹果并购两家AI企业，或助力V...
苹果近期在收购市场上动作频频，据AppleInsider报道，引用MacGeneration的消息，...
生成式人工智能对社会科学的机遇...
生成式 人工智能目前正在改变众多不同行业。然而，尚不清楚此类工具会如何影响社会科学研究。 美国杜...
好评中国｜汇聚青春力量点亮网络...
在互联网深刻重塑社会肌理的今天，网络空间日益成为信息交互、价值传播、文化赓续的重要载体。作为“数字原...
广东力王申请可变径绕线机专利 ...
金融界2025年7月8日消息，国家知识产权局信息显示，广东力王高新科技股份有限公司申请一项名为“一种...
体育消费“引擎”轰鸣
一头憨态可掬的机器狮子，前进、站立、稽首、鞠躬、转圈圈，完美复刻舞狮场景；各种健身器材上，运动者的心...
广电运通取得云台装置及巡检机器...
金融界2025年7月8日消息，国家知识产权局信息显示，广电运通集团股份有限公司取得一项名为“云台装置...
原创 美...
荷兰代尔夫特理工大学的量子物理实验室曾是全球顶尖研究中心，可现在这里的年轻研究员们正大批前往美国硅谷...
增值逾54倍！竞拍央企剥离资产...
图片来源：图虫创意 7月7日盘后，上海洗霸（603200.SH）公告，计划参与竞拍有研稀土新材料股份...
校园自动售货机：优势、便利与收...
随着科技的进步和校园生活节奏的加快，自动售货机作为一种便捷的零售方式，逐渐在高校、中学等教育机构普及...
东洲通信申请便于调节安装的基站...
金融界2025年7月8日消息，国家知识产权局信息显示，上海东洲通信系统工程有限公司申请一项名为“一种...
河北开展2025年度智能工厂梯...
我省开展2025年度智能工厂梯度培育行动 加快推动制造业数字化转型智能化升级 3月28日，在安平网...
昆山农商银行成功上线境内海运费...
2025年5月30日，昆山农商银行境内海运费发票OCR智能识别及检验真伪功能正式投产运行，并成功为本...
需求断层、数据孤岛、评价滞后！...
当前，全球人工智能技术加速迭代，生成式AI正深刻重塑教育生态。中共中央、国务院《教育强国建设规划纲要...
国内首个低空新基建完整解决方案...
【国内首个低空新基建完整解决方案发布】财联社7月8日电，由遥感卫星应用国家工程研究中心等单位主办的2...
“上新”！合肥绘制“未来产业图...
在安徽省合肥国家高新技术产业开发区，有一条孕育了数十家量子科技企业的“量子大街”。过去的10多年里，...
智能机器人“大白”助力FRAS...
东方网通讯员陈霞琼、肖鑫、记者刘轶琳7月8日报道：日前，同济大学附属上海市第四人民医院胃肠外科，一位...
和林格尔新区：打造绿色算力产业...
在即将于7月12日举办的2025绿色算力（人工智能）大会上，作为承办方之一的内蒙古和林格尔新区将成为...
矩道科技VR教育新体验：让孩子...
上海网络科技有限公司，一家秉持“为教育增添新维度”愿景的前沿科技企业，正引领着教育行业迈向虚拟现实与...
新疆建立西北首个脑机接口病房
7月6日，新疆医科大学第一附属医院神经外科脑机接口(BCI)病房揭牌，新疆医疗在神经科技领域迈入新阶...