用配音生成人物对话场景，Meta 推出 audio2photoreal AI 框架_资讯

创始人

2024-01-09 20:54:45

0次

IT之家 1 月 9 日消息，Meta 日前公布了一项名为 audio2photoreal 的 AI 框架，该框架能够生成一系列逼真的 NPC 人物模型，并借助现有配音文件自动为人物模型“对口型”“摆动作”。

▲ 图源 Meta 研究报告（下同）

IT之家从官方研究报告中得知，Audio2photoreal 框架在接收到配音文件后，首先生成一系列 NPC 模型，之后利用量化技术及扩散算法生成模型用动作，其中量化技术为框架提供动作样本参考、扩散算法用于改善框架生成的人物动作效果。

研究人员提到，该框架可以生成 30 FPS 的“高质量动作样本”，还能模拟人类在对话中“手指点物”、“转手腕”或“耸肩”等不由自主的“习惯性动作”。

研究人员援引自家实验结果，在对照实验中有 43% 的评估者对框架生成的人物对话场景感到“强烈满意”，因此研究人员认为 Audio2photoreal 框架相对于业界竞品能够生成“更具动态和表现力”的动作。

据悉，研究团队目前已经在 GitHub 公开了相关代码和数据集，感兴趣的小伙伴可以点此访问。

数据中心的绿色存储看似整个世界都在依赖 AI 来提升未来效率，但从可持续发展的角度来看，这对地球究竟意味着什么？ ...

未来的语文怎么教怎么学？从高考... 中国青年报客户端北京6月7日电1335万考生报名参加2025年全国高考。今天上午，全国高考正式拉开帷...

科粤机械取得空心轴加工用悬吊机... 金融界2025年6月7日消息，国家知识产权局信息显示，佛山市南海科粤机械有限公司取得一项名为“一种空...

为矿工生命安全筑起智能防护墙在西山煤电，AI预警平台为矿工生命安全筑起一道智能防护墙。本报记者王佳丽摄 ...

我国中小企业生产经营回升向好央视网消息（新闻联播）：今年以来，我国中小企业产销持续改善，创新活力竞相迸发，回升向好势头进一步巩固...

腾瑞电力取得便携式用电采集装置... 金融界2025年6月7日消息，国家知识产权局信息显示，腾瑞电力科技有限公司取得一项名为“一种便携式用...

优化企业安全的等保测评收费标准... 在数字化转型背景下，信息安全等级保护测评成为企业合规的重要基础。本文探讨了优化企业安全的等保测评收费...

公牛集团获得发明专利授权：“适... 证券之星消息，根据天眼查APP数据显示公牛集团（603195）新获得一项发明专利授权，专利名为“适配...

元平台申请免插入处方矫正光学模... 金融界2025年6月7日消息，国家知识产权局信息显示，元平台技术有限公司申请一项名为“免插入处方矫正...

“黑科技”建材有多神奇？来看看... 记者从中国建筑材料联合会获悉，我国建材行业首次实现重点领域碳排放核算全覆盖。在对我国建材行业的调研过...

带学生斩获160多个大奖！这名... 在AI和机器人火热的当下谁能想到早在2005年海宁就诞生了第一批学校机器人社团此后更是拿奖...

（经济观察）广东加速打造人工智... 广州6月7日电 (记者孙秋霞)近年来，广东密集出台一系列支持人工智能与机器人产业创新发展的政策措施...

原创人... 人形设计的核心必要性，环境适配性：人类社会的物理环境（如门把手、楼梯、工具）均以人体工程学为基础设计...

柬埔寨官员呼吁中国企业助力柬农... 金边6月7日电 (记者杨强)由中柬两国企业合作建设的柬埔寨首个香蕉供应链气体负压催熟库当地时间6日...

格力电器获得发明专利授权：“换... 证券之星消息，根据天眼查APP数据显示格力电器（000651）新获得一项发明专利授权，专利名为“换热...

武陟：梯度培育赋能企业“拔节生... 河南日报客户端记者成安林通讯员成睿 6月6日，位于武陟经济技术开发区的焦作赛科中药生物科技有限...

准备干掉360整个市场部？周鸿... 每经AI快讯，6月6日晚间，360集团创始人、董事长周鸿祎在其个人微博账号发文称，“我准备干掉360...

“超越日本，中国首次跃居首位” 据《日本经济新闻》网站6月4日报道，中国在氢相关专利竞争力方面超越日本，首次跃居首位。中国企业主要在...

2025 年性价比超强的 6 ... 2025 年性价比超强的 6 款 512G 大内存手机：从地铁通勤到高原徒步，哪台是你的「搬砖神器」...

字节跳动CQC前掌门李彤离职，... 近日，字节跳动内部传出一则重要人事变动消息，其内容质量中心（Content Quality Cent...