苹果推出 300 亿参数 MM1 多模态大模型，可识别图像推理自然语言
创始人
2024-03-16 19:55:31
0次

原标题：苹果推出 300 亿参数 MM1 多模态大模型，可识别图像推理自然语言

IT之家 3 月 16 日消息，苹果公司旗下研究团队近日在 ArXiv 中公布了一篇名为《MM1：Methods， Analysis & Insights from Multimodal LLM Pre-training》的论文，其中介绍了一款 “MM1”多模态大模型，该模型提供 30 亿、70 亿、300 亿三种参数规模，拥有图像识别和自然语言推理能力。

IT之家注意到，苹果研究团队相关论文主要是利用 MM1 模型做实验，通过控制各种变量，找出影响模型效果的关键因素。

研究表明，图像分辨率和图像标记数量对模型性能影响较大，视觉语言连接器对模型的影响较小，不同类型的预训练数据对模型的性能有不同的影响。

据介绍，研究团队首先在模型架构决策和预训练数据上进行小规模消融实验。之后利用混合专家（Mixture of Experts）架构及一种名为 Top-2 Gating 的方法构建了 MM1 模型，号称不仅在预训练指标中实现了最好的性能表现，在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。

研究人员对“MM1”模型进行了测试，号称 MM1-3B-Chat 和 MM1-7B-Chat 优于市面上绝大多数相同规模的模型。MM1-3B-Chat 和 MM1-7B-Chat 在 VQAv2、TextVQA、ScienceQA、MMBench、MMMU 和 MathVista 中表现尤为突出，但是整体表现不如谷歌的 Gemini 和 OpenAI 的 GPT-4V。

上一篇：10年经典老App上线，却无法正常使用

下一篇：吹响工业互联网标识 “贯通”号角

相关内容

热门资讯

汇智聚力优化创新生态 近年来，上海以建设国际科技创新中心为战略使命，聚焦强化科技创新策源功能主线，从政策赋能、机制突破、未...
学术破界，科普惠民，这场医学大... 6月28日，首届“浦江-明道”普外学术大会暨“浦公英”健康科普驿站普外专场在上海举办。这场以“学术引...
珠海冠宇申请一种极片及电池专利... 金融界2025年6月28日消息，国家知识产权局信息显示，珠海冠宇电池股份有限公司申请一项名为“一种极...
小米申请充电控制相关专利，提高... 金融界2025年6月28日消息，国家知识产权局信息显示，北京小米移动软件有限公司申请一项名为“充电控...
AI技术赋能 西安音乐项目获文... 文化和旅游部科技教育司、全国艺术科学规划领导小组办公室近日公布了17项2025年度国家社科基金艺术学...
这一星象时隔36年再现，明晚记... 6月29日，太阳系中的行星海王星与土星相合，上演“星星相吸”。届时如果天气晴好，我国感兴趣的公众可在...
双向奔赴！乐源智慧农业产业园在... 6月28日，乐源智慧农业产业园开工奠基仪式在重庆市武隆区白马工业园区举行。项目的落地，为武隆工业经济...
海内外业者聚首厦门“侨”见世界... 中新网厦门6月28日电 (李思源 汪文婷)2025侨文化国际传播学术研讨会28日在华侨大学厦门校区举...
到2030年撬动1万亿资产！一... 我国数据要素市场3.0时代，如何加快建设一体化数据市场？ 6月27日，在由大数据流通与交易技术国家工...
图书馆电子资源上新——NATU... 为了满足我校师生的教学与科研需求，图书馆目前开通了nature及子刊服务，欢迎大家使用。 期刊范围 ...
除草不再需要农药，华工科技发布... 6月28日，2025年华工科技创新日活动发布众多“黑科技”产品。其中，国内首款激光除草机尤引关注。 ...
上海硅光未来产业集聚区落地浦东 中新社上海6月28日电 (记者 李姝徵)上海硅光未来产业集聚区“光启天地”28日在浦东新区启动建设。...
时隔36年再现，明晚记得抬头看... 6月29日，太阳系中的行星 海王星与 土星相合， 上演“星星相吸”。届时如果天气晴好，我国感兴趣的公...
连打40万页创世界纪录，奔图“... 全球科技竞争日益激烈，中国自主创新释放出强大的韧性和活力。2025年6月26日，奔图扛打再破纪录暨2...
科技感拉满！这场机器人开发者大... 2025年睿抗机器人开发者大赛（RAICOM）是极具影响力的全国性赛事。大赛以“机器照护人”为主题，...
潍坊三建取得建筑用切割设备专利... 金融界2025年6月28日消息，国家知识产权局信息显示，潍坊三建建材科技有限公司取得一项名为“一种建...
望岳谈｜“加减乘除”，山东让技... 6月27日，2024年度山东省科学技术奖揭晓。获奖的290个项目（人选），折射出山东科技创新的新常态...
全球首艘纯氨燃料内燃机动力示范... 感谢IT之家网友 、 的线索投递！ 6 月 28 日消息，据安徽日报报道，全球首艘纯氨燃料内燃机动...
广东加快构建人工智能标准体系，... 深圳商报·读创客户端驻穗记者 姚嘉莉 通讯员 粤市监 近日，广东省人工智能标准化技术委员会（以下简称...
赛腾股份获得实用新型专利授权：... 证券之星消息，根据天眼查APP数据显示赛腾股份（603283）新获得一项实用新型专利授权，专利名为“...