ToonCrafter 是由香港中文大学、香港城市大学和腾讯AI实验室的研究人员开发,一个生成性的卡通插值工具,利用预训练的图像到视频扩散先验来插值两张卡通图片。它主要用于生成流畅的卡通动画,适用于卡通草图插值和基于参考的草图上色等应用。通过上传起始和结束的卡通图片,ToonCrafter 可以自动生成平滑的动画过渡,大大提高动画制作的效率和质量。
ToonCrafter功能
- 卡通插值:能够在两张卡通图片之间生成平滑的动画过渡。
- 预训练扩散模型:利用预训练的图像到视频扩散先验,提高插值效果。
- 多种应用:适用于卡通草图插值和基于参考的草图上色等。
- 高效动画制作:大大提高动画制作的效率和质量,减少手动工作量。
- 用户友好:只需上传起始和结束图片,系统自动生成动画。
ToonCrafter是一个开源项目,可以在GitHub上找到相关的代码和使用说明。ToonCrafter还提供了在线版本,可以在Huggingface上使用。
官网链接:https://doubiiu.github.io/projects/ToonCrafter/
论文:https://arxiv.org/abs/2405.17933v1
代码:https://github.com/ToonCrafter/ToonCrafter