Meta 推出 V-JEPA 模型,利用 AI 高效补充视频受遮蔽部分
创始人
2024-02-17 20:49:52
0

原标题:Meta 推出 V-JEPA 模型,利用 AI 高效补充视频受遮蔽部分

IT之家 2 月 17 日消息,Meta 首席 AI 科学家 Yann LeCun 在 2022 年推出了 JEPA(Joint Embedding Predictive Architectures)模型架构,次年基于 JEPA 架构开发了一款“I-JEPA”图片预测模型,目前又推出了一款名为“V-JEPA”的视频预测模型

据介绍,相关 JEPA 架构及 I-JEPA / V-JPA 模型主打“预测能力”,号称可以以“人类理解”的方式,利用抽象性高效预测生成图片 / 视频中被遮蔽的部分。

IT之家注意到,研究人员使用一系列经过遮蔽处理的特定视频训练 I-JEPA / V-JEPA 模型,研究人员要求模型利用“抽象方式”填充视频中缺失的内容,从而让模型在填充间学习场景,进一步预测未来的事件或动作,进而达到对世界更深层次的理解。

▲ 图源 Meta 官方新闻稿(下同)

研究人员表示,这种训练方法能够让模型专注于影片的高层次概念,而“不会钻牛角尖处理下游任务不重要的细节”,研究人员举例“人类观看内含树木的影片时,不会特别关心树叶的运动方式”,因此采用这种抽象概念的模型,相对于业界竞品效率更佳

研究人员同时提到,V-JEPA 采用一种名为“Frozen Evaluations”的设计结构,即“模型在预训练之后,核心部分不会再改变”,因此只需要在模型之上添加小型专门层即可适应新任务,具有更高普适性。

相关内容

热门资讯

吾空凌云 X16 AI 版笔记... 原标题:吾空凌云 X16 AI 版笔记本发布:R7 8845HS 处理器,4199 元起 ...
移除复古“立即安装”界面,微软... 原标题:移除复古“立即安装”界面,微软优化 Win11 装机体验 IT之家 1...
苹果发布2024贺岁片《小蒜头... 原标题:苹果发布2024贺岁片《小蒜头》,范伟主演,全程使用iPhone15 Pro Max拍摄 ...
K70根本不是对手,一加12的... 原标题:K70根本不是对手,一加12的性能和影像全面超越小米14 Pro,用基本版打败Pro ...
从iPhone换到小米14,是... 原标题:从iPhone换到小米14,是一种什么体验?这些心里话不得不说 现在越...
官方估价4900的iPhone... 原标题:官方估价4900的iPhone被回收平台砍到0 想直接白嫖? 202...
海天瑞声2023年由盈转亏,营... 原标题:海天瑞声2023年由盈转亏,营收下滑超3成,欲募资6.6亿做AI大模型 ...
每日酒企动态 | 散花飞天茅台... 原标题:每日酒企动态 | 散花飞天茅台酒线上首发预售;兰州黄河2023年预亏超3600万元 ...
注册4年未拿下牌照,特斯拉保险... 原标题:注册4年未拿下牌照,特斯拉保险经纪公司拟注销,或买壳入局 图片来源:...
史上第一个iOS木马被发现:窃... 原标题:史上第一个iOS木马被发现:窃取面部识别数据以解锁银行账户 鞭牛士报道...