苹果开源FastVLM视觉语言模型 为智能穿戴设备铺路
创始人
2025-05-13 19:42:13
0次

【太平洋科技快讯】5月13日，苹果机器学习团队在GitHub上发布并开源了一款新型视觉语言模型(VLM)——FastVLM。该模型提供0.5B、1.5B和7B三个版本，基于苹果自研的MLX框架开发，并借助LLaVA代码库进行训练，专为Apple Silicon设备的端侧AI运算进行了优化。

FastVLM的核心是一个名为FastViTHD的混合视觉编码器。该编码器专为在高分辨率图像上实现高效的VLM性能而设计，其处理速度较同类模型提升3.2倍，体积却仅有3.6分之一。FastViTHD通过减少令牌输出量并显著缩短编码时间，实现了性能的飞跃。

根据技术文档显示，FastVLM在保持精度的前提下，实现了高分辨率图像处理的近实时响应，同时所需的计算量比同类模型要少得多。最小模型版本(FastVLM-0.5B)的首词元响应速度比LLaVA-OneVision-0.5B模型快85倍，视觉编码器体积缩小3.4倍。搭配Qwen2-7B大语言模型版本，使用单一图像编码器即超越Cambrian-1-8B等近期研究成果，首词元响应速度提升7.9倍。

苹果技术团队指出，基于对图像分辨率、视觉延迟、词元数量与LLM大小的综合效率分析，他们开发出了FastVLM。该模型在延迟、模型大小和准确性之间实现了最优权衡。该技术的应用场景指向苹果正在研发的智能眼镜类穿戴设备。多方信息显示，苹果计划于2027年推出对标Meta Ray-Bans的AI眼镜，同期或将发布搭载摄像头的设备。

FastVLM的本地化处理能力可有效支持此类设备脱离云端实现实时视觉交互。MLX框架允许开发者在Apple设备本地训练和运行模型，同时兼容主流AI开发语言。FastVLM的推出证实苹果正构建完整的端侧AI技术生态。

上一篇：钉钉布局澳门市场 将合作开发AI服务机器人

下一篇：江苏同悦取得集成式小型制氮机专利，减少了装置的空间占用

相关内容

热门资讯

凭意念就能灵活移动赛车！首例前... 澎湃新闻报道，5月8日，上海阶梯医疗科技有限公司的科学家们在媒体沟通会上展示了一段影音，其中一名受试...
小玻璃瓶背后的“大智慧” 5月11日，记者走进位于沧州高新区的沧州四星玻璃股份有限公司生产车间看到，自动化制瓶生产线上，一支支...
市规划设计院举办AI应用与效能... 市规划设计院举办AI应用 与效能提升专题培训会 为加快推进数字化转型与智能化升级，培养适应人工智能时...
开源破壁 看魔乐社区如何重塑A... IT时报记者 沈毅斌 当ChatGPT掀起全球AI技术狂潮，学术界与产业界之间却横亘着一道“转化鸿...
销量跌出前五后，荣耀中国区关键... 新任CEO李健上马后，荣耀的调整几乎就没停止过。 MWC 2025期间，荣耀的新任CEO李健首次公开...
无人插秧机上岗 春耕尽显科技范 新兴区无人插秧机在插秧作业 当前已进入水稻插秧时节，近日，我市各县区积极推广智慧农机装备应用，各地春...
荣耀跌出前五：手机江湖再无“替... 手机行业，从第一到others要多久？ 荣耀的答案是一年。 根据IDC的统计，2024年第一季度，荣...
《海尔兄弟》动画续集座谈会召开... 今年两会，随着海尔周云杰的“出圈”，海尔兄弟这一经典IP再次掀起全民热议潮。高清重制版以三日破亿播放...
原创 快... 在过去几个月中，乌克兰国民警卫队对BM-21“冰雹”多管火箭发射系统进行了全面升级，将这款苏联时代的...
爱奇艺回应收集个人信息：正积极... 5月13日下午，爱奇艺公司官方发言人@桃厂上线了 在官微发布声明称，针对国家计算机病毒应急处理中心检...
“青超联赛”首赛日农产品展销销... 青海新闻网·江源新闻客户端讯 5月12日，记者从省农业农村厅获悉，通过“线上线下联动、场内场外协同、...
【好物】京东618狂促20点开... 今天，好物栏目为大家带来 iPhone 16 Pro、小米 14 Ultra 等多款好价单品，部分手...
深市电子开启“星际”进阶 硬科... 本报记者 田鹏 近年来，随着国家集成电路产业投资基金扶持、新基建战略推进等政策红利持续释放，叠加全球...
2025福布斯人工智能科技企业... 5月11日，全球权威商业媒体《福布斯》揭晓“2025年人工智能科技企业50强”榜单，湖南地区智慧眼科...
成都签约一批重大产业化项目 跨维具身智能应用创新基地项目将为区域机器人产业发展注入强劲动能（图为产品展示图）。 5月8日—10日...
山东年内将投入10亿元 聚焦1... 人工智能行业迎来发展风口，国内多地陆续出台支持政策培育相关产业发展。日前，山东省发布了《关于加快人工...
步科股份跌3.14%，成交额1... 5月13日，步科股份跌3.14%，成交额1.19亿元，换手率1.39%，总市值83.68亿元。 异动...
原创 三... 2025年5月13日，根据多家科技媒体的消息，三星电子正式发布Galaxy S系列超薄机身形态机型G...
科技展会推动成果转化：创新平台... 随着全球科技创新步伐不断加快，如何有效推动前沿技术从“实验室”走向“产业链”成为各界关注的核心议题。...
外媒：三星推出最薄智能手机 剑... 【环球网科技综合报道 记者 李文瑶】5月13日消息，据路透社报道，三星电子发布了迄今为止最薄的旗舰机...