字节发布ResAdapter 可以解决Stable Diffusion肢体异常、画面崩坏问题

近日，字节发布了一款名为ResAdapter的新型工具，该工具可以解决Stable Diffusion（SD）在生成超大图片以及非训练分辨率图片时出现的肢体异常和画面崩坏问题。此外，ResAdapter还可以与现有的IPadapter以及Controlnet模型兼容。

随着文本到图像模型如Stable Diffusion，以及个性化技术如DreamBooth、LoRA等的发展，我们现在已经能够创造出既高质量又充满创意的图像。然而，当这些技术尝试生成超出其训练时所用分辨率的图像时，往往会遇到一些限制。

 为了解决这个问题，字节推出了ResAdapter，这是一种专门为扩散模型（比如Stable Diffusion和个性化模型）设计的适配器，能够生成任何分辨率和长宽比的图像。与其他多分辨率生成方法不同，ResAdapter能直接生成动态分辨率的图像，而不是在后期处理中调整静态分辨率的图像。这种方法使得图像处理变得更加高效，避免了重复的去噪步骤和复杂的后期处理流程，显著缩短了处理时间。

ResAdapter利用广泛的分辨率先验，即使只有0.5M的容量，也能为个性化扩散模型生成不同于原训练领域的高分辨率图像，同时保持原有风格。

大量实验显示，ResAdapter在提高分辨率方面与扩散模型配合得天衣无缝。此外，更多的实验表明，ResAdapter可以与ControlNet、IP-Adapter和LCM-LoRA等其他模块兼容，适用于创建不同分辨率的图像，也可以整合进如ElasticDiffusion这样的多分辨率模型中，高效生成更高清晰度的图像。

总的来说，ResAdapter的推出，无疑为图像生成领域带来了新的可能性，期待它在未来的应用中能够带来更多的惊喜。