首页 > 视听 > 此刻

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

AI视频又炸了! Pika能“对口型” 阿里直接让赫本“唱歌”

第一财经2024-03-01 13:15:54

作者:视点    责编:赵伟

举报

在AI多模态领域,视频生成的竞争已经到了白热化地步。2月28日,AI视频生成平台Pika上线唇形同步功能Lip Sync,只要上传文本或音频,就能让视频人物发声且嘴型完全同步。

Pika的音频生成部分由AI语音克隆创企ElevenLabs提供技术支持,但受限于已有产品的架构,Pika只能分段生成3秒时长的唇形同步视频,且仅生成唇部配合音频发生运动。

就在同一天,阿里推出更炸裂的视频生成框架EMO,只要输入一张图像和一段音频,就能生成任意时长的人像说话视频,且五官、表情非常自然。视频最终长度,取决于输入音频的长度。

在示例视频里,EMO不仅能让赫本讲话、让蒙娜丽莎读《莎士比亚》,还能让小李子唱超“烫嘴”Rap,甚至高启强也能化身罗翔普法。不管是让肖像唱歌(不同风格的歌曲)、让肖像开口说话(不同语种)、还是各种“跨演员”的表演,EMO的效果都令人大为惊叹。

AI视频又炸了! Pika能“对口型” 阿里直接让赫本“唱歌”。点击视频,一看究竟!

文章作者

一财最热
点击关闭