能自动化视频剪辑的开源工具,FunClip本地部署和线上体验

这几年短视频非常火爆,尤其是抖音等短视频平台的崛起,很多人都可以把自己的日常生活或者工作发到网上,吸引很多人的关注,也有一些人因此赚到了人生第一桶金。

然后剪辑视频却是一件非常耗费精力的事情,经常要几个小时才能剪出来一个视频。

今天给大家推荐一个阿里开源的自动化视频剪辑工具FunClip,可以帮助大家轻松剪辑视频。

FunClip是一款完全开源的自动化视频剪辑工具,可以安装在我们自己的电脑上,支持离线使用。还可以通过调用阿里巴巴通义实验室开源的 FunASR Paraformer 系列模型进行视频的语音识别,然后我们可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。

所以使用 FunClip 剪辑视频非常的简单,不用像传统的视频剪辑软件,需要我们手动自己分割视频。

在上述基本功能的基础上,FunClip有以下特色:

  • FunClip融合了众多高级语言模型的调用机制,并开放了灵活的prompt设置功能,旨在探索利用大型语言模型进行视频编辑的新方法。
  • FunClip采用了阿里巴巴开源的顶尖工业级语音识别模型——Paraformer-Large,它在开源中文ASR模型中表现出色,Modelscope的下载次数已超过1300万次,同时能够精确地预测出时间戳。
  • 此外,FunClip还整合了SeACo-Paraformer的热词定制功能,在语音识别过程中可以特别指定实体词、人名等作为热词,从而显著提高识别的准确性。
  • FunClip还配备了CAM++的说话人识别模型,用户可以利用自动识别出的说话人ID作为编辑的依据,轻松裁剪出特定说话人的部分。
  • 通过Gradio的交互界面,用户可以轻松实现上述功能,安装过程简洁,操作便捷,并且支持在服务器端部署,通过网页进行操作。
  • FunClip还支持多段视频的自由编辑,并且能够自动生成完整的视频SRT字幕文件以及目标剪辑片段的SRT字幕,简化了整个编辑流程。

而且FunClip还加入了大语言模型智能裁剪功能,集成了qwen系列,gpt系列等模型,提供默认prompt,我们也可以训练自己的prompt,还支持通过FunASR开源的SeACo-Paraformer模型在视频剪辑中进一步支持热词定制化。

能自动化视频剪辑的开源工具,FunClip本地部署和线上体验

安装🔨

安装python环境

FunClip的运行仅依赖python环境,所以我们只需要搭建好python环境就OK了。

# 克隆funclip仓库
git clone https://github.com/alibaba-damo-academy/FunClip.git
cd FunClip
# 安装相关Python依赖
pip install -r ./requirements.txt
安装 imagemagick希望使用自动生成字幕的视频裁剪功能,那么需要安装imagemagick:
Ubuntuapt-get -y update && apt-get -y install ffmpeg imagemagick

sed -i 's/none/read,write/g' /etc/ImageMagick-6/policy.xml
  • MacOS
brew install imagemagick

sed -i 's/none/read,write/g' /usr/local/Cellar/imagemagick/7.1.1-8_1/etc/ImageMagick-7/policy.xml
  • Windows

需要从下面的地址下载并安装imagemagick:

https://imagemagick.org/script/download.php#windows
  使用FunClip首先使用下面的命令启动FunClip:python funclip/launch.py

随后在浏览器中访问localhost:7860 就能进入首页。

然后按如下步骤即可进行视频剪辑:

上传你的视频(或使用下方的视频用例)
  • 设置热词,设置文件输出路径(保存识别结果、视频等)
  • 点击识别按钮获取识别结果,或点击识别+区分说话人在语音识别基础上识别说话人ID
  • 将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
  • 配置剪辑参数,偏移量与字幕设置等
  • 点击“裁剪”或“裁剪+字幕”按钮
能自动化视频剪辑的开源工具,FunClip本地部署和线上体验

使用大语言模型裁剪请参考如下教程:

能自动化视频剪辑的开源工具,FunClip本地部署和线上体验

FunClip 在魔塔社区部署了在线服务,可以通过下面的地址体验:

https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

我们可以上传自己的视频或者音频,也可以使用 FunClip 提供的demo:

能自动化视频剪辑的开源工具,FunClip本地部署和线上体验

更多内容,可以到github了解:

https://github.com/alibaba-damo-academy/FunClip

总的来说,FunClip是一款完全开源、本地部署的自动化视频剪辑工具,可以帮助我们更加轻松地剪辑视频,记录我们的美好生活。

声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

开源大模型Llama3本地部署教程,打造个人知识库

2024-5-27 12:36:00

教程百科

Stable Diffusion教程,AI绘画生成全套古风写真

2024-5-28 10:00:58

搜索