Stability AI 今天发布了 Stable Audio Open 1.0，这是其音频领域的新一款生成 AI 模型。Stability AI 以稳定扩散文本到图像生成 AI 技术而闻名，但这只是该公司产品组合的一部分。该公司在2023年首次推出了 Stable Audio，这是一种文本到音频的生成 AI 工具。最近发布的 Stable Audio2.0提高了生成音频的清晰度和长度。
与完整版 Stable Audio 可用于一般商业用途并生成长达3分钟的音频不同，Stable Audio Open 的应用场景更为局限。Stable Audio Open 的目标是生成短音效片段，而非完整的歌曲。
正如其名称所示，Stable Audio Open 是一种开放模型，尽管它并非开源。Stable Audio Open 根据 Stability AI 的非商业研究社区协议许可证向用户提供，该许可证允许开放访问模型，但对使用该模型执行的操作有限制。
Stability AI 音频研究主管 Zach Evans 表示:“我们推出 Stable Audio Open 的目标是让音频研究人员和制作人能够亲身体验我们的生成音频模型之一，以加速这些令人难以置信的新工具的研究、采用和实际创造性使用。”
Stable Audio Open是什么?
Stable Audio Open 是一种专门针对音乐制作和声音设计的模型，优化了鼓点、乐器乐段、环境声音等音频样本的生成。与商业版 Stable Audio 相比，Stable Audio Open 的生成音频长度为47秒，质量较高。
Stability AI 对模型的训练采取了负责任的态度，使用了来自 FreeSound 和免费音乐档案的音频数据进行训练，以确保未使用受版权保护或专有材料。
用户可对Stable Audio Open 微调
Stable Audio Open 的另一个主要优势是用户可以根据自己的自定义音频数据对模型进行微调。例如，鼓手可以根据自己的鼓声录音样本微调模型，生成全新、独特的节拍。
Stable Audio Open 的微调是通过稳定音频工具库实现的，该库是根据实际开源许可证授权的。Stable Audio Open 的模型权重现已在 Hugging Face 上可用。
Evans 表示:“音频研究团队一直在努力提高生成音频模型的质量和可控性。我们期待进一步发布商业和开放模型，以反映我们研究的进展。”