专栏名称: GitHubStore

分享有意思的开源项目

开源的多模态AI助手TEN Agent

GitHubStore · 公众号 · · 2024-10-12 09:19

正文

项目简介

TEN Agent ，由世界首个实时多模态框架驱动。它是开源的，具有说话、视觉和访问知识库的能力。通过利用 TEN 框架，TEN Agent 具有以下特点：

高性能实时多模态交互：为复杂的音视频 AI 应用提供高性能、低延迟的解决方案。
多语言和多平台支持：支持 C++、Go、Python 等语言的扩展开发。可在 Windows、Mac、Linux 和移动设备上运行。
边缘-云集成：灵活结合边缘和云部署的扩展，平衡隐私、成本和性能。
超越模型限制的灵活性：通过简单的拖放编程，轻松构建复杂的 AI 应用，集成音视频工具、数据库、RAG 等。
实时代理状态管理：实时管理和调整代理行为，实现动态响应。

EN Agent

TEN Agent

TEN Agent 是一个由 TEN 驱动的多模态代理，展示了其在语音、视觉和通过本地文档 RAG 进行推理方面的能力。

如何在本地构建 TEN Agent

先决条件

Keys

Agora App ID 和 App Certificate（点击此处了解详情）
Azure 的 STT 和 TTS API Keys
OpenAI API Key

下载安装

Docker 和 Docker Compose
Node.js(LTS) v18

机器配置

CPU >= 2 Core
RAM >= 4 GB

Apple Silicon 上 Docker 设置

如果您使用的是 Apple Silicon Mac，您需要取消勾选 Docker 的 "Use Rosetta for x86_64/amd64 emulation on Apple Silicon" 选项，否则服务器将无法正常工作。

设置国内代理

如果在国内，我们强烈建议在 SSH 中把代理打开，下载和安装的依赖的时候会更加丝滑。

# 如果用的代理软件没有增强模式的话， 建议手动把所有代理协议都打开# export 的有效期为一个 sessionexport https_proxy=http://127.0.0.1:（端口例如 7890） export http_proxy=http://127.0.0.1:（端口例如 7890） export all_proxy=socks5://127.0.0.1:（端口例如 7890）
# Dockerexport https_proxy=http://host.docker.internal:（端口例如 7890）export http_proxy=http://host.docker.internal:（端口例如 7890）export all_proxy=http://host.docker.internal:（端口例如 7890）
# GO 代理设置export GOPROXY=https://goproxy.cn,direct
# pip 代理设置, 此设置需要先安装 pippip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

下一步

1.创建配置文件

克隆项目后，在根目录下跑下面的命创建 .env :

cp ./.env.example ./.env

2. 绑定 extension 的 keys

打开 .env 文件，绑定对应的 keys ，这里也可以通过配置不同的 keys 选用不用的 extensions ：

# Agora app IDAGORA_APP_ID=# Certificate 非必须，只有在申请 Agora app ID 的时候申请了才需要填# 如果不知道 certificate 是什么, 请留空AGORA_APP_CERTIFICATE=
# Azure STT key and regionAZURE_STT_KEY=AZURE_STT_REGION=
# Azure TTS key and regionAZURE_TTS_KEY=AZURE_TTS_REGION=
# OpenAI API keyOPENAI_API_KEY=

4. 在容器内创建 agent 服务

再打开一个 Terminal 窗口，通过下面的命令进入 Docker 容器，创建 agent 服务：

#  进入容器创建 agentdocker exec -it astra_agents_dev bash
make build

5.开启服务

make run-server

构建完成 🎉

走到这里就本地构建完成了，简单 5 步，上手体验拉满！