
SadTalker
SadTalker 是由西安交通大学(西交大)开源的项目。它是一个用于生成风格化的单图说话人脸动画的工具,可以根据输入的图片和音频生成对应音频口型的视频。用户可以给模型一张图片以及一段音频文件,模型会根据音频文件把传递的图片进行人脸的相应动作,比如张嘴、眨眼、移动头部等。它可以从音频中生成3DMM的3D运动系数(头部姿势、表情),并隐式调制一种新颖的3D感知面部渲染,用于生成说话的头部运动视频。
-->
DreamAvatar是一个革命性的AI数字人生成工具,利用前沿技术,用户只需使用一部手机,就能轻松创建自己的数字人分身。通过导入拍摄好的视频素材,并指定视频中的人物,DreamAvatar的AI算法将进行人体检测、跟踪、擦除、替换,以及背景修复。这一系列创新的步骤将自动将真人转换为逼真的数字人形象。
DreamAvatar是一个革命性的AI数字人生成工具,利用前沿技术,用户只需使用一部手机,就能轻松创建自己的数字人分身。通过导入拍摄好的视频素材,并指定视频中的人物,DreamAvatar的AI算法将进行人体检测、跟踪、擦除、替换,以及背景修复。这一系列创新的步骤将自动将真人转换为逼真的数字人形象。
DreamAvatar的AI演员采用了3D人体姿态估计和驱动算法,确保动作与真人完美同步。此外,AI还通过相机姿态估计和跟踪,以及光照估计算法,让数字人和环境自然融合,创造出极具真实感的画面。最后通过汇总这一系列AI处理,并将它们渲染为3D动画,最终输出。
DreamAvatar目前支持最长10秒视频的转化,并已推出11个不同风格的数字人形象,包括机器人、兽人、类人等三大题材。
DreamAvatar的数字人生成功能分为两种类型: