有开发者开发了 StableDesign 项目,旨在为生成式室内设计提供数据集和训练方法。这是一个适用于室内装修设计的SD方案,上传一张空房间的图片,输入文字提示,可以按要求生成装修效果图。
他们首先通过爱彼迎下载房源数据,并利用脚本扩展了 bnb-dataset 代码,从中提取了图像元数据。随后,他们运用特征提取和数据准备工具,创建了适用于室内设计的数据集,为后续模型训练做好准备。
在数据准备完成后,研究团队使用 ControlNet 和模型进行训练。ControlNet 模型通过分割图像和深度估计图像,实现了对室内设计生成过程的控制。同时,模型则通过文本到图像的转换,使用户可以通过文本描述来生成对应的室内设计图像。这些训练方法结合了图像处理和自然语言处理技术,为生成式室内设计领域的发展提供了新的思路和方法。
StableDesign 项目的推出,为研究人员和设计师提供了一个全新的数据集和训练框架,促进了生成式室内设计技术的发展和创新。不过,StableDesign 生成的效果可不能全信,比如有时会把承重墙改没了。
在线体验:https://huggingface.co/spaces/MykolaL/StableDesignGithub: