免费生成不限时长的AI数字人,腾讯开源项目MuseV本地部署详解

腾讯旗下的天琴实验室刚刚开源了AI数字人MuseV项目,项目全称是:基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成(MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising)。MuseV和其稍后发布的MuseTalk视频唇形同步是一套完整的AI数字人解决方案。随着这两个项目的开源我们可以免费制作不限时长的AI数字人了。

项目特点

1.不限时长

2.文本到视频生成

3.视频到视频生成

4.兼容 Stable Diffusion文生图生态系统,包括基础模型、Lora、Controlnet等

5.支持多参考图像技术,例如IPAdapter、ReferenceOnly、IPAdapterFaceID等

使用方法

目前MuseV开源项目有四种使用方法。

1.根据技术说明,自行克隆部署。

项目地址:github.com/tmelyralab/musev

2.官方在抱抱脸上开启了了Demo试用。

Demo地址:huggingface.co/spaces/AnchorFake/MuseVDemo

3.Windows本地部署一键运行。这个是B站大神“十字鱼”做的一键运行整合包,直接下载解压就可以一键运行。

网盘地址:https://www.123pan.com/s/Pf5Yjv-Bb9W3.html

提取码: glut

网盘里有两个文件,另一个是MuseTalk,下载后解压MuseV这个文件,然后点“01运行程序”这个文件。

免费生成不限时长的AI数字人,腾讯开源项目MuseV本地部署详解

除了Video Length视频时长外,其他参数都可以不变,默认每秒6帧,时长12就代表生成2秒视频。

默认 W&H 为 -1,使用参考图像的尺寸。目标视频的大小为( W ,H )。图像尺寸越短,运动幅度越大,视频质量越低。W&H越长,运动幅度越小,视频质量越高。

注意事项:最好放在C盘全字母的文件夹;运行前开启魔法网络,因为还要自动下载几个模型;12G显存以上显卡,越大越好。

4.SD Comfyui运行。

在管理器中安装节点页面搜索“MuseV”,然后点安装

免费生成不限时长的AI数字人,腾讯开源项目MuseV本地部署详解

下载工作流导入Comfyui。

免费生成不限时长的AI数字人,腾讯开源项目MuseV本地部署详解
免费生成不限时长的AI数字人,腾讯开源项目MuseV本地部署详解

工作流下载地址:github.com/chaojie/ComfyUI-MuseV

整体来说效果不错,目前可控制的部分很少,图像越大,动作幅度越小,推荐不要超过1024。图像越大越吃显存,耗时也比较长,我生成一个1024*1536的10秒视频花了1个多小时,用的2080Ti 22G显存。下次再讲另一个MuseTalk唇形对准项目,这个更好玩。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

怎么用好Midjourney基础设置?Midjourney设置参数(/settings)详解

2024-4-18 10:18:27

教程百科

ChatGPT教程:ChatGPT怎么用?简单易懂的ChatGPT使用指南!

2024-4-19 9:48:07

搜索