腾讯发布针对腾讯混元文生图开源大模型(混元 DiT)的加速库,号称大幅提升推理效率,生图时间缩短 75%。
官方表示,混元 DiT 模型的使用门槛也大幅降低,用户可以基于 ComfyUI 的图形化界面使用腾讯混元文生图模型能力。同时,混元 DiT 模型已经部署至 HuggingFaceDiffusers 通用模型库中,用户仅用三行代码即可调用混元 DiT 模型,无需下载原始代码库。
在此之前,腾讯曾宣布混元文生图大模型全面升级并对外开源,供企业、个人开发者免费商用。腾讯方面称其为“业内首个”中文原生的 DiT 架构文生图开源模型,支持中英文双语输入及理解。其采用与 sora 一致的 DiT 架构,不仅可支持文生图,也可作为视频等多模态视觉生成的基础。
运行该模型需要支持 CUDA 的英伟达 GPU,单独运行混元 DiT 所需的最低显存为 11GB,同时运行 DialogGen(腾讯推出的文本转图像多模态交互式对话系统)和混元 DiT 则至少需要 32GB 的显存,腾讯表示他们已经在 Linux 上测试了英伟达的 V100 和 A100 GPU。