最近,AI视频创作平台 D-ID 推出了一款全新的 AI 视频翻译工具——AI Video Translate。这款工具可以视频翻译成多种语言,而且不仅如此,D-ID 还会克隆讲述的声音,并调整口型,以确保翻译后的内容和视频画面完全契合。
产品入口:https://www.1ai.net/80.html
该工具可实现的效果包括:
- 语音克隆:自动克隆说话者的声音,以实现跨语言一致性
- 唇部运动适应:完美同步说话者的唇部运动,打造自然外观。
- 批量渲染:将您的视频快速翻译成多达29种语言
- 用户友好的界面:拖放功能和直观的设计使任何人都可以轻松使用。
这项技术的背后,源于 D-ID 之前的一些创新工作,比如几年前,用户能够让老照片 “复活”,让这些照片 “说”,引发了广泛的关注。
为了支持其不断增长的企业客户,D-ID 在2022年了2500万美元的 B 轮融资。如今,新推出的 AI 视频翻译技术目前对 D-ID 的订阅用户免费提供。创作者们可以通过这项技术将他们的视频自动翻译成30种语言,包括阿拉伯语、普通话、日语、印地语、西班牙语和法语等,这将有助于他们拓展受众。
D-ID 表示,这项新技术能够帮助客户在全球范围内推广他们的营销、娱乐和社交媒体活动,从而节省本地化成本。过去,配音技术让视频观众能够用自己熟悉的语言收听音频,但对一些小型创作者来说,这种技术往往难以接触。
技术的进步,情况正在改变。例如,YouTube 近期推出了一项多语言音频功能,帮助创作者们将视频翻译成其他语言。知名YouTube创作者 MrBeast(吉米・唐纳森)便是早期的使用者之一,他利用这项技术将几部热门视频翻译成11种语言。
如今,AI 技术的发展,创造、翻译和克隆声音的能力也在不断提升。今年,微软宣布使用 AI 来实时翻译和配音 YouTube 视频,而 Vimeo 也在七月推出了工具,支持翻译音频和字幕,并能使用 AI 技术复制讲述者的声音。此外,还有许多公司提供语音克隆或 AI 翻译工具,包括 Descript、ElevenLabs、Speechify 等。
D-ID 的新视频翻译技术将通过 D-ID Studio 及其 API 提供。公司还提供一个为期一个月的试用,更多演示可以在其官方网站上找到。根据要求,视频长度需在10秒至5分钟之间,文件大小不得超过2GB,并且视频中最好只包含一位面对镜头、面部始终可见的讲述者,以获得最佳效果。