腾讯混元文生图大模型(混元 DiT 模型)宣布全面开源训练代码,包括 LoRA 插件和 ControlNet 插件。
LoRA 是一种用于微调大型语言模型的技术,可以在不修改原有模型或增加模型大小的情况下,利用少量数据训练出具有特定特征的模型。
ControlNet 是一种可控化生成算法,允许用户通过添加额外条件来更好地控制图像生成。腾讯混元提供了三个首发 ControlNet 模型,可以提取与应用图像的边缘、深度和人体姿势等条件。
此外,混元 DiT 发布了专属加速库,提升推理效率并简化使用方式。混元 DiT 已被广泛用于素材创作、商品合成、游戏出图等多个领域,包括腾讯广告妙思平台和多家媒体使用混元 DiT 模型进行内容生成。
官网:
https://dit.hunyuan.tencent.com/
代码:
https://github.com/Tencent/HunyuanDiT
模型:
https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
论文:
https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf
数据制作流程:
https://github.com/Tencent/HunyuanDiT/blob/main/IndexKits/docs/MakeDataset.md