AI 图像生成模型的一个最大问题就是速度:使用 ChatGPT 或 Stable Diffusion 生成一张图像可能需要几分钟的时间。甚至 Meta 首席执行官马克・扎克伯格在去年的 Meta Connect 大会上也抱怨了图像生成速度。
Hugging Face 团队正试图通过一款名为 aMUSEd 的新模型加快速度，该模型可以在短短几秒钟内生成图像。
这款轻量级的文本到图像模型基于谷歌的 MUSE 模型，参数规模约为8亿。aMUSEd 可以部署在移动设备等设备上。它的速度来自于它的构建方式。aMUSEd 采用了一种称为 Masked Image Model （MIM） 的架构，而不是 Stable Diffusion 和其他图像生成模型中的潜在扩散。
Hugging Face 团队表示，MIM 减少了推理步骤，从而提高了模型的生成速度和可解释性。而且它的小尺寸也使得它运行速度很快。
aMUSEd 项目体验网址：https://huggingface.co/papers/2401.01808
你可以通过 Hugging Face 上的演示来尝试 aMUSEd。该模型目前以研究预览版的形式提供，但使用 OpenRAIL 许可证，意味着可以进行实验或调整，同时也对商业适应性友好。
aMUSEd 生成的图像质量可以进一步提高，团队也公开承认了这一点，选择发布它以 “鼓励社区探索像 MIM 这样的非扩散框架用于图像生成”。
aMUSEd 模型可以进行零样本的图像修复，而 Stable Diffusion XL 无法做到，这是 Hugging Face 团队的说法。
关于如何在几秒钟内生成 AI 图像，aMUSEd 中的 MIM 方法类似于语言建模中使用的技术，将数据的某些部分隐藏（或屏蔽），模型学习预测这些隐藏部分。在 aMUSEd 的情况下，隐藏的是图像而不是文本。
在训练模型时，Hugging Face 团队使用一种名为 VQGAN（Vector Quantized Generative Adversarial Network）的工具，将输入图像转换为一系列标记。然后部分屏蔽图像标记，模型通过文本编码器基于未屏蔽部分和提示来预测屏蔽部分。在推理过程中，文本提示通过相同的文本编码器转换为模型理解的格式。aMUSEd 从一组随机屏蔽的标记开始，逐步完善图像。
在每一次完善过程中，模型预测图像的部分，保留其最自信的部分，并继续完善其余部分。经过一定步骤后，模型的预测通过 VQGAN 解码器处理，生成最终的图像。
aMUSEd 还可以在自定义数据集上进行微调。Hugging Face 展示了使用8位 Adam 优化器和 float16精度微调的模型，该过程使用了不到11GB 的 GPU VRAM。
可以在这里访问模型微调的训练脚本：
https://github.com/huggingface/diffusers/blob/main/examples/amused/train_amused.py