曾经，生成3D 图像是一项极其困难的任务，涉及复杂的线框、软件和硬件。但如今，情况已发生巨大改变。Stability AI 日前宣布了一项名为 Stable Fast3D 的新型生成式 AI 技术，可从单张图像快速生成3D 图像。
最牛的是，根据 Stability AI 的说法，新模型可以在半秒内生成3D 图像。这一处理速度相比之前有了质的飞跃，此前的模型可能需要几分钟才能生成类似效果，而 Stable Fast3D 完成相同任务的速度竟是之前的1200倍。
早在3月，Stability AI 就发布了 Stable Video3D（SV3D），生成3D 资产需10分钟，如今的 Stable Fast3D 进步巨大。
Stability AI 预计此新模型在多个行业具有实用价值，包括设计、建筑、零售、虚拟现实和游戏开发等。用户可通过 Stable Assistant 聊天机器人、Stability AI API 以及社区许可证 Hugging Face 来使用该模型。
Stable Fast3D原理
Stable Fast3D 并非从零开始构建，而是从之前的 TripoSR 模型演变而来。3月，Stability AI 与3D 建模供应商 Trip AI 建立合作，致力于打造快速3D 资产生成技术。
在研究论文中，研究人员详细介绍了 Stable Fast3D 创新的工作方法。Stable Fast3D 的核心是使用增强的 transformer 网络从输入图像生成高分辨率的三平面，即3D 体积表示。该网络旨在高效处理更大的分辨率，而不会大幅增加计算复杂性，从而实现更精细的细节捕获并减少混叠伪影。
研究人员还详细介绍了一种创新的材料和照明估计方法。材料估计网络使用一种新颖的概率方法预测全局金属和粗糙度值，该方法具有提高图像质量和一致性的结果。
Stability AI 最出名的或许是 Stable Diffusion 文本到图像生成技术，但它至少从2023年11月就开始研究3D，今年3月的 Stable Video3D 提升了3D 图像生成质量和观看体验。不仅如此，上周该公司还宣布了 Stable Video4D，为短3D 视频生成增加了时间维度。