国内团队天图万境发布了名为Sora Opera的视频音频通用工具,这款工具不仅可以为AI生成的视频配音,还能对已存在的视频进行重新配音。
上周六,视频工具Pika宣布用户可以为生成的视频添加配乐和音效,同时也可以为之前生成的静音视频添加音效。这项功能现已解除了视频的“静音模式”,但需要用户购买Pika会员才能体验。
在今年3月初,据悉国内团队已经有了类似的音频生成工具,并在内部试用了半年,用于文生视频的静音画面添加音效或背景音乐。目前,这个工具即将在3月内与华为云合作推出,开发团队“天图万境”提供了Sora Opera项目的体验网址,将在几天内向公众开放。
Sora Opera计划提供两项功能:文生音效和视频配乐,不过云端版本将先提供给合作伙伴使用,因为限于算力成本。用户可以通过输入提示词如“刀剑击打声”或“清脆悦耳的鸟叫声”来获取相应的音频片段,也可以生成具有特定旋律和节奏的背景音乐。而Sora Opera的开源版本将在云端上线一段时间后发布,用户可随意使用视频音效、BGM和文字生音效等功能。
创始人图拉古展示了几段Sora Opera的演示视频,这些视频原本静音,经过处理后添加了音效,包括猛犸象的声音、小动物的叫声等。
据悉,Sora Opera的专业版支持长达60分钟的视频配音,用户还可以将自己拍摄的素材重新导入工具中获得新的音效和灵感。
此外,Sora Opera还具备多项特色功能,包括为AI生成的视频重新配音、处理加速视频内容匹配音效、识别图像节奏以及处理非画面内声音等。这一新工具将为视频制作提供更多可能性,也可能在未来对传统PPT演示产生影响。
体验网址:https://soraopera.skymaper.com