OpenAI推新款大模型Sora,可根据文本生成60秒视频
创始人
2024-02-16 13:31:22
0

原标题:OpenAI推新款大模型Sora,可根据文本生成60秒视频

·Sora可根据文本指令生成60秒视频,可生成具有多个角色、特定类型运动及精确主题和背景细节的复杂场景,并在单个生成视频中创建多个镜头,准确保留角色和视觉风格。

·OpenAI正在教AI理解和模拟运动中的物理世界,目标是训练模型来“帮助人们解决需要现实世界互动的问题”。不过,Sora在提示空间细节方面会混淆左右,也无法理解因果关系的具体实例。

Sora生成的视频:几只巨大的猛犸象穿过一片白雪覆盖的草地,长毛在风中轻轻飘动,远处是白雪覆盖的树木和大山。

开发出热门聊天机器人ChatGPT后,OpenAI继续在生成式人工智能上玩出新花样。2月16日,OpenAI推出新的AI大模型Sora,该文生视频大模型可通过快速文本提示创建“逼真”和“富有想象力”的60秒视频。

OpenAI表示,Sora能够根据文本指令生成长达60秒的视频,同时保持视觉质量并遵守用户提示。Sora可生成具有多个角色、特定类型运动以及精确主题和背景细节的复杂场景。该模型对语言有深刻理解,能够准确领会提示,生成令人信服的角色。Sora还可以在单个生成视频中创建多个镜头,准确保留角色和视觉风格。

Sora生成的视频:一只猫叫醒了正在睡觉的主人。

“这个模型不仅能理解用户在提示中要求什么,还能理解这些东西在现实世界中是如何存在的。”OpenAI表示,正在教人工智能理解和模拟运动中的物理世界,目标是训练模型来“帮助人们解决需要现实世界互动的问题”。

除了能够仅从文本指令生成视频外,该模型还能够利用现有的静止图像从中生成视频,精确地将图像内容动画化,也可以利用现有视频进行扩展或填充缺失的帧。

Sora有时会生成不合情理的动作,譬如在跑步机上倒着跑步。

不过,Sora仍在开发中,存在明显“弱点”,特别是在提示空间细节方面会混淆左右,也无法理解因果关系的具体实例,比如制作了一个视频,视频中有人咬了一口饼干,但之后饼干上没有咬痕。

Sora生成的视频:五只小狼在一条砾石路上嬉戏追逐,周围长满了草。Sora的缺点是动物或人会凭空出现,特别是在包含许多实体的场景中。

Sora生成的视频中,动物或人会凭空出现,特别是在包含许多实体的场景中。此外,Sora难以精确描述随时间推移发生的事件,例如跟踪摄像机的特定轨迹。

Sora生成的视频:一把普通的塑料椅子在沙漠中被发现,人们小心翼翼地挖掘并掸去沙子。在这个例子中,Sora没有将椅子建模为一个刚性物体,导致不准确的物理交互。

对于模型安全性的考量,OpenAI表示,计划与一个专家团队合作测试最新模型,密切关注错误信息、仇恨内容和偏见等。OpenAI还表示正在开发帮助检测误导性信息的工具,比如检测分类器可以判断视频是何时由Sora生成的。其文本分类器可检查并拒绝违反使用政策的文本输入提示,例如极端暴力、性内容、仇恨图像、名人肖像等。“我们还开发了鲁棒性的图像分类器,用于审查每个生成视频的帧,以帮助确保它在显示给用户之前符合我们的使用政策。”

OpenAI表示,Sora将首先提供给网络安全教授,以评估产品的危害或风险。一些视觉艺术家、设计师和电影制作人也能获得Sora的访问权限,以此收集关于创意专业人士如何使用Sora的反馈。

Sora生成的视频:在“赛博朋克”背景下,一个机器人的生活故事。

市场研究公司ABI research高级分析师里斯•海登(Reece Hayden)表示,尽管多模态大模型并不新鲜,而且文生视频的模型已经存在,但OpenAI声称Sora具有的长度和准确性使其与众不同。海登认为,这类人工智能模型可能会对数字娱乐市场产生重大影响,新的个性化内容将在各个渠道传播,“一个明显的用例是电视,创造简短的场景来支持叙事。”

相关内容

热门资讯

全球最快!中国科大首次实现 记者7月10日从中国科学技术大学获悉,该校教授毕国强、刘北明联合合肥综合性国家科学中心人工智能研究院...
检索增强生成(RAG)为何在今... 在 人工智能领域,有一种名为检索增强生成(RAG)的方法正在成为帮助模型获得精准结果的关键途径。 ...
韩媒感叹:全球百大顶尖人工智能... 【CNMO科技消息】近日,韩媒援引最新研究表示,全球前100名顶尖人工智能(AI)科学家中,半数为中...
智创未来|我校与网易互娱SON... 7月9日上午,网易互娱音频总监吴盛强一行赴我校调研交流,我校党委副书记、院长陶陌出席座谈会。 陶陌...
“空中的士”要来了!温州苍南“... 7月9日,“峰飞航空科技(苍南)展示体验中心” 正式启用,标志着温州市苍南县在打造浙南低空经济产业基...
世运电路获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示世运电路(603920)新获得一项实用新型专利授权,专利名为“...
现在买手机别乱选!一加新机告诉... 【CNMO科技行情】2025年中高端手机市场竞争激烈,一加Ace 5至尊版却凭借超强硬件配置与亲民价...
7×24小时不打烊 “太好办”... 山西晚报·山河+讯(记者薛建英)7月9日,太原市政务服务中心消息,为加速政务服务智能化进程,该中心近...
裁员66%背后的AI生死局:M... 出品|虎嗅科技组 作者|陈伊凡 编辑|苗正卿 头图|Manus官网 距离 3 月凭借 “AI 智能体...
来中国前,黄仁勋先去见了特朗普 【文/观察者网 柳白】在传出下周将访华的消息之际,英伟达首席执行官(CEO)黄仁勋于当地时间7月10...
原生安卓第一方电话App新版本... IT之家 7 月 10 日消息,外媒 Android Authority 今日公布了原生安卓系统内的...
1935.3克样品,首次揭示! 月球样品又有新发现!嫦娥六号揭示月背演化密码 7月9日,中国科学院发布嫦娥六号月球样品系列研究成果,...
方太申请一种滤芯及其制备方法专... 金融界2025年7月9日消息,国家知识产权局信息显示,宁波方太厨具有限公司申请一项名为“一种滤芯及其...
喜临门发布宝褓·BrainCo... 近日,睡眠科技领域迎来里程碑事件。在喜临门与强脑科技联合举办的“AI喜临门   强脑科技独家战略合作...
威高血净获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示威高血净(603014)新获得一项实用新型专利授权,专利名为“...
*ST汇科跌0.71%,成交额... 7月10日,*ST汇科跌0.71%,成交额1.40亿元,换手率5.21%,总市值36.52亿元。 异...
荣耀Magic8 Pro曝光,... 此前,博主@旺仔百事通 发布消息表示,“荣耀400系列全球激活量突破100万台”。 一同公布的海报中...
蜂巢能源申请极组及电芯专利,提... 金融界2025年7月9日消息,国家知识产权局信息显示,蜂巢能源科技股份有限公司申请一项名为“极组及电...
2025“渴望就可能·百事校园... 近日,百事可乐与腾讯音乐娱乐集团联合出品的"渴望就可能·百事校园最强音年度盛典"在福建厦门开唱。在本...
EPIC登录失败/登不上去一直... Epic Games是一家以开发和发行高质量视频游戏而闻名的公司,其代表作《堡垒之夜》(Fortni...