OpenAI推新款大模型Sora,可根据文本生成60秒视频
创始人
2024-02-16 13:31:22
0

原标题:OpenAI推新款大模型Sora,可根据文本生成60秒视频

·Sora可根据文本指令生成60秒视频,可生成具有多个角色、特定类型运动及精确主题和背景细节的复杂场景,并在单个生成视频中创建多个镜头,准确保留角色和视觉风格。

·OpenAI正在教AI理解和模拟运动中的物理世界,目标是训练模型来“帮助人们解决需要现实世界互动的问题”。不过,Sora在提示空间细节方面会混淆左右,也无法理解因果关系的具体实例。

Sora生成的视频:几只巨大的猛犸象穿过一片白雪覆盖的草地,长毛在风中轻轻飘动,远处是白雪覆盖的树木和大山。

开发出热门聊天机器人ChatGPT后,OpenAI继续在生成式人工智能上玩出新花样。2月16日,OpenAI推出新的AI大模型Sora,该文生视频大模型可通过快速文本提示创建“逼真”和“富有想象力”的60秒视频。

OpenAI表示,Sora能够根据文本指令生成长达60秒的视频,同时保持视觉质量并遵守用户提示。Sora可生成具有多个角色、特定类型运动以及精确主题和背景细节的复杂场景。该模型对语言有深刻理解,能够准确领会提示,生成令人信服的角色。Sora还可以在单个生成视频中创建多个镜头,准确保留角色和视觉风格。

Sora生成的视频:一只猫叫醒了正在睡觉的主人。

“这个模型不仅能理解用户在提示中要求什么,还能理解这些东西在现实世界中是如何存在的。”OpenAI表示,正在教人工智能理解和模拟运动中的物理世界,目标是训练模型来“帮助人们解决需要现实世界互动的问题”。

除了能够仅从文本指令生成视频外,该模型还能够利用现有的静止图像从中生成视频,精确地将图像内容动画化,也可以利用现有视频进行扩展或填充缺失的帧。

Sora有时会生成不合情理的动作,譬如在跑步机上倒着跑步。

不过,Sora仍在开发中,存在明显“弱点”,特别是在提示空间细节方面会混淆左右,也无法理解因果关系的具体实例,比如制作了一个视频,视频中有人咬了一口饼干,但之后饼干上没有咬痕。

Sora生成的视频:五只小狼在一条砾石路上嬉戏追逐,周围长满了草。Sora的缺点是动物或人会凭空出现,特别是在包含许多实体的场景中。

Sora生成的视频中,动物或人会凭空出现,特别是在包含许多实体的场景中。此外,Sora难以精确描述随时间推移发生的事件,例如跟踪摄像机的特定轨迹。

Sora生成的视频:一把普通的塑料椅子在沙漠中被发现,人们小心翼翼地挖掘并掸去沙子。在这个例子中,Sora没有将椅子建模为一个刚性物体,导致不准确的物理交互。

对于模型安全性的考量,OpenAI表示,计划与一个专家团队合作测试最新模型,密切关注错误信息、仇恨内容和偏见等。OpenAI还表示正在开发帮助检测误导性信息的工具,比如检测分类器可以判断视频是何时由Sora生成的。其文本分类器可检查并拒绝违反使用政策的文本输入提示,例如极端暴力、性内容、仇恨图像、名人肖像等。“我们还开发了鲁棒性的图像分类器,用于审查每个生成视频的帧,以帮助确保它在显示给用户之前符合我们的使用政策。”

OpenAI表示,Sora将首先提供给网络安全教授,以评估产品的危害或风险。一些视觉艺术家、设计师和电影制作人也能获得Sora的访问权限,以此收集关于创意专业人士如何使用Sora的反馈。

Sora生成的视频:在“赛博朋克”背景下,一个机器人的生活故事。

市场研究公司ABI research高级分析师里斯•海登(Reece Hayden)表示,尽管多模态大模型并不新鲜,而且文生视频的模型已经存在,但OpenAI声称Sora具有的长度和准确性使其与众不同。海登认为,这类人工智能模型可能会对数字娱乐市场产生重大影响,新的个性化内容将在各个渠道传播,“一个明显的用例是电视,创造简短的场景来支持叙事。”

相关内容

热门资讯

浩利丰取得一体式紫铜消音器专利... 金融界2025年7月11日消息,国家知识产权局信息显示,武汉浩利丰机械有限公司取得一项名为“一种一体...
人保再保发布行业首个《新能源汽... 2025年6月,在人保再保险股份有限公司第五届“技术引领,共创未来”技术论坛上,公司正式发布了行业首...
SpaceX第七次载人飞行Cr... 2025-07-11 09:20:55 作者:狼叫兽 NASA 与 SpaceX 近日正式宣布,...
我科研团队首次实现小鼠全身神经... 来源:科技日报 科技日报记者 吴长锋 记者10日从中国科学技术大学获悉,该校毕国强教授、刘北明教授联...
从“实验室”走向“生产线” 全... 封面新闻记者 伍雪梅(主办方供图) 7月10日,“长江首城宜创汇”协同创新大赛人工智能专项赛总决赛在...
正海磁材:人形机器人等领域有望... 今年以来,随着机器人行业的快速发展,作为上游原材料的稀土永磁行业也备受市场关注。 日前,正海磁材(3...
原创 百... 2024年,我选定一个题材,用100台国产老相机拍摄100个胶卷。然后把相机送给有缘人(也就是进入我...
淄博:三大赛道支撑装备制造业突... 回首过往,淄博制造的金字招牌熠熠生辉,在深厚工业底蕴的滋养下,淄博装备制造业这个已有百年底蕴的产业,...
航宇科技获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示航宇科技(688239)新获得一项实用新型专利授权,专利名为“...
真相来了|网传太阳能板释放有害... 央视网消息:国家统计局数据显示,2024年,我国太阳能电池产量达6.8亿千瓦,同比增长15.7%。日...
消息称黄仁勋下周到访中国:特供... 来源:快科技 快科技7月11日消息,H20被禁止向中国厂商禁售后,黄仁勋可能是最着急的人,不过现在看...
叮当健康智能售药机进驻中央民族... “这个24小时售药机真是太方便了“,中央民族大学(丰台分校)一名正在自助购药的学生表示。 日前,在北...
西樵做小程序的公司 在当今数字化快速发展的背景下,小程序作为一种轻量级的应用工具,已成为许多企业和个人实现业务拓展、提升...
123 光年外的天枢星,人类未... 朋友们,咱今儿聊聊北斗七星里的天枢星。这星星可有些年头了,大概 2.8 亿年前就诞生啦,离咱们地球约...
全球最快!中国科大首次实现 记者7月10日从中国科学技术大学获悉,该校教授毕国强、刘北明联合合肥综合性国家科学中心人工智能研究院...
检索增强生成(RAG)为何在今... 在 人工智能领域,有一种名为检索增强生成(RAG)的方法正在成为帮助模型获得精准结果的关键途径。 ...
韩媒感叹:全球百大顶尖人工智能... 【CNMO科技消息】近日,韩媒援引最新研究表示,全球前100名顶尖人工智能(AI)科学家中,半数为中...
智创未来|我校与网易互娱SON... 7月9日上午,网易互娱音频总监吴盛强一行赴我校调研交流,我校党委副书记、院长陶陌出席座谈会。 陶陌...
“空中的士”要来了!温州苍南“... 7月9日,“峰飞航空科技(苍南)展示体验中心” 正式启用,标志着温州市苍南县在打造浙南低空经济产业基...
世运电路获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示世运电路(603920)新获得一项实用新型专利授权,专利名为“...