会员专属,加入会员后,可免费下载!本站资源仅支持搭载Apple Silicon Mac M1/M2/M3 GPU加速芯片。
Mac本地运行AI数字人软件Easy-Wav2Lip,更快,更强!
前不久,AI数字人领域又迎来了一项新突破,那就是Easy-Wav2Lip。作为Wav2Lip的改进版本,Easy-Wav2Lip在设计上更加简洁,执行速度更快,生成的视频效果也更加逼真。坦率地说,这款软件的出现,让我们对数字人技术的未来充满了更多期待。
什么是Wav2Lip?
Wav2Lip技术可以让视频中的人物根据输入的音频生成匹配的唇形动作,从而实现口型与语音同步的效果。这项技术不仅适用于静态图像,还能够对动态视频进行处理,生成与目标语音同步的视频输出。
为什么选择Easy-Wav2Lip?
相比之下,Easy-Wav2Lip作为Wav2Lip的改进版本,在设计上更为简洁,执行速度更快,同时生成的视频效果更加逼真。
下面是数字人效果的演示:
Easy-Wav2Lip的特点
速度
在处理速度上,Easy-Wav2Lip表现得尤为出色。以Colab T4环境下处理一段9秒钟、720p、60fps的测试视频为例,Easy-Wav2Lip将处理时间从原来的近7分钟显著缩短至不到1分钟。
特性 | 原始 Wav2Lip | Easy-Wav2Lip |
---|---|---|
执行时间 | 6分53秒 | 56秒 |
视觉效果
Easy-Wav2Lip修正了原版Wav2Lip在嘴唇同步方面存在的视觉缺陷,使得生成的视频更为自然逼真。
提供三种不同的品质选项:
-
快速:基础的Wav2Lip效果 -
改进:在Wav2Lip基础上增加羽化口部遮罩,同时保留面部其他部分的原始分辨率 -
增强:结合Wav2Lip、遮罩和GFPGAN技术,对面部进行全面提升
安装指南
为了简化安装流程,上述工具已经封装成了一个独立的启动包,用户只需简单点击即可运行,无需配置繁琐的Python环境。以下是获取和安装该应用的详细步骤:
下载应用
前往下载页面:https://aifun.fans/303/,点击页面右侧的下载按钮进行下载。
注意:仅支持搭载有 Mac M1/2/3 系列芯片的设备。
安装步骤
-
从上述链接下载DMG镜像文件,将 app
文件拖拽到Applications
文件夹中。
-
复制安装完成后,
首次启动先不要在启动台打开,在应用程序文件夹右键打开
,如下所示,原因参考Mac 安装软件常见问题 -
软件会自动在打开操作界面,选择对应的照片和音频文件,在对应文件夹即可生成视频。
结语
Easy-Wav2Lip的出现,无疑为我们带来了更多可能性。无论是从处理速度还是视觉效果上,它都远远领先于Wav2Lip。希望大家能够充分利用这项技术,创造出更多精彩的作品。