Luna AI:一套全自动AI直播系统,真正的落地变现开源项目

Luna AI是一款先进的全自动AI直播系统,结合了ChatterBot、GPT、Claude等多种AI技术,支持本地和云端运行。利用Live2D和UE5技术,它能够作为虚拟主播在Bilibili、抖音等平台进行实时互动直播,或在本地与用户聊天。该系统集成了自然语言处理和文本转语音技术,如Edge-TTS和VITS-Fast,提供丰富的互动体验。此外,Luna AI还支持Stable Diffusion绘图功能,为直播增添互动乐趣。项目结构清晰,包括配置文件、GUI主程序、多个功能性文件夹,适用于多种操作系统。

虚拟主播和实时互动
利用Live2D、Vtube Studio、UE5加上Audio2Face技术,Luna AI可以作为一个虚拟主播出现在Bilibili、抖音、快手、斗鱼等直播平台上。这些技术使得虚拟主播具有逼真的外观和表情,能够吸引观众并提供沉浸式的观看体验。
自然语言处理和文本转语音
项目使用了多种自然语言处理和文本转语音技术,如Edge-TTS、VITS-Fast、elevenlabs、bark-gui、VALL-E-X,以生成对观众问题的回答。这些技术允许Luna AI以自然、流畅的方式与观众互动。同时,so-vits-svc和DDSP-SVC提供变声功能,增加了直播的多样性和趣味性。
绘画功能
通过特定指令,Luna AI能够协同Stable Diffusion进行绘画展示。这一功能不仅增加了直播的互动性,也为观众提供了视觉上的享受。
技术和框架集成
Luna AI整合了众多AI技术和框架,包括但不限于ChatterBot(一个用于构建聊天机器人的库)、GPT(一个强大的文本生成模型)、Claude(一个多用途的AI语言模型)、langchain(用于构建和运行语言链)、chatglm(一个基于GPT的聊天模型)、text-generation-webui(用于文本生成的前端界面)、讯飞星火(提供语音识别和合成服务)、智谱AI(提供AI相关的服务和技术)。这些技术的结合使得Luna AI在语言处理和响应方面异常强大。
Luna AI:一套全自动AI直播系统,真正的落地变现开源项目
项目结构
项目包含多个重要的文件夹和文件:
·config.json:配置文件,存储了所有的设置和选项。
·main.py:GUI主程序,根据配置调用各平台程序。
·utils 文件夹:包含聊天、音频、通用类相关功能的封装实现。
·data 文件夹:存储数据文件、违禁词、文案等。
·log 文件夹:存储运行日志、字幕日志等。
·out 文件夹:存储TTS、SVC输出的音频文件,文案输出的音频文件。
·Live2D 文件夹:存储Live2D源码及模型。
·song 文件夹:存储点歌模式的歌曲。
·docs 文件夹:存储项目相关文档。
·tests 文件夹:存储单一功能点的测试程序。
·cookie 文件夹:存储部分功能需要用到的cookie数据。
环境要求和安装
Luna AI支持Windows 7及以上、MacOS、Linux操作系统。项目使用Python 3.10.11,所有依赖库在requirements.txt中列出。安装时需要注意避免使用中文路径、空格和特殊字符,以免引起程序运行异常。
配置和定制
项目提供了一个GUI界面,用于配置和定制各项功能。在配置文件config.json中你将看到具体的配置内容。
项目链接
https://github.com/0x648/luna-ai
声明:内容均采集自公开的网站等各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
教程百科

Ai绘画关键词怎么写?记住这个万能公式!

2024-1-29 9:46:55

教程百科

不可思议的Midjourney v6:7个技巧让文本和图像完美结合!

2024-1-30 10:15:44

搜索