近日,字节发布了一款名为AnimateDiff-Lightning的模型,这款模型在视频生成方面的性能表现令人瞩目。只需4-8步的推理,就能生成质量非常不错的视频,这对于视频制作行业来说无疑是一次重大的技术突破。
论文地址:https://arxiv.org/html/2403.12706v1
AnimateDiff-Lightning模型与Contorlnet的配合也非常出色,这意味着视频转绘的工作流需要得到升级。同时,字节还推出了对应的Comfyui工作流,这一开源工作流的实施,使得AnimateDiff-Lightning模型的应用更加到位。
据了解,AnimateDiff-Lightning模型是从AnimateDiff SD1.5v2中提炼出来的,包含了1步、2步、4步和8步提炼模型的版本。其中,2步、4步和8步模型的生成质量非常好,这对于视频制作者来说,无疑提供了更多的选择和可能。
在使用AnimateDiff-Lightning模型时,字节还建议使用运动LoRA,因为运动LoRA能产生更强的运动效果。为了避免水印的出现,建议将运动LoRA的使用强度控制在0.7~0.8之间。
总的来说,字节发布的AnimateDiff-Lightning模型,以其强大的视频生成能力,为视频制作行业带来了新的可能,同时也为视频制作者提供更多的选择和便利。