实时语音AI助手Real-time Voice AI Agent

项目简介

该存储库包含用于在此处构建演示应用程序的代码。我们创建了一个实时语音 AI 代理，可以在约 500 毫秒内通过语音响应任何查询。这是一种极其灵活的实现，您可以根据自己的喜好交换任何大型语言模型、文本转语音 (TTS) 模型和语音转文本 (STT) 模型。这对于涉及语音的用例（例如客户服务机器人、接待员等）非常有用。

您可以在此处访问完整文档

概述

为了创建这个应用程序，我们使用 Pipecat，这是一个用于语音和多模式对话 AI 的开源框架，它可以处理我们可能需要的一些功能，例如处理用户中断、处理音频数据等。我们将与我们的语音 AI 代理交谈通过 WebRTC 传输，使用 Daily（Pipecat 的创建者），并将在 Cerebrium 上部署此应用程序，以展示它如何无缝处理部署和扩展我们的应用程序。

特征

• 实时语音交互，响应时间约500ms

• 与各种大型语言模型 (LLMs)、TTS 和 STT 模型灵活集成

• 利用 Pipecat 处理语音和多模式对话 AI

• 使用 Daily 进行通信的 WebRTC 传输

• 使用 Cerebrium 进行无缝部署和扩展

贡献

欢迎贡献！请提出问题或提交拉取请求以进行任何改进或错误修复。

致谢

• Pipecat - 用于语音和多模式会话 AI 的开源框架

• Daily - 实时视频和音频通信的WebRTC平台

• Cerebrium - 用于部署和扩展 AI 应用程序的平台

关注「 GitHubStore