集成了AI模型和多种工具的多模态聊天界面：multimodal-chat

项目简介

Yet Another Chatbot 是一个复杂的多模式聊天界面，由先进的人工智能模型提供支持，并配备了各种工具。该聊天机器人可以：

• 实时搜索和浏览网页

• 查询维基百科以获取信息

• 执行新闻和地图搜索

• 安全地执行可生成文本和图像（例如图表和图表）的 Python 代码

• 撰写混合文本和图像的长篇文章

• 生成、搜索和比较图像

• 分析文档和图像

• 搜索并下载 arXiv 论文

• 生成对话并将其保存为文本和音频文件

• 将文件保存到输出目录

• 跟踪个人改进

• 管理任务跟踪清单

例子

以下是如何使用各种工具的示例：

1. 网络搜索 ：“在网络上搜索量子计算的最新进展。”

2. 维基百科 ：“查找有关人工智能历史的维基百科文章。”

3. Python 脚本 ：“创建一个 Python 脚本来生成按国家/地区划分的全球二氧化碳排放量的条形图。”

4. 素描本 ：“开始一本新的素描本，写一篇关于如何用数值方法计算 Pi 的介绍。”

5. 图像生成 ：“生成一个拥有飞行汽车和高耸的摩天大楼的未来城市的图像。”

6. 图片搜索 ：“在图片目录中搜索濒危物种的图片。”

7. arXiv Integration ：“搜索自然语言处理深度学习的最新研究论文。”

8. 对话生成 ：“在三位专家之间创建对话，讨论如何设置多模式 RAG。”

9. 文件管理 ：“将我们关于气候变化的讨论摘要保存到名为“climate_change_summary.txt”的文件中。”

10. 个人改进 ：“这里有一个改进建议：要改进答案，请搜索官方资源。”

11. 清单 ：“为实施机器学习模型的项目启动新的清单。”

主要功能和工具

1. 网络互动 ：

• DuckDuckGo 文本搜索：执行网络搜索

• DuckDuckGo 新闻搜索：搜索最近的新闻文章

• DuckDuckGo 地图搜索：搜索位置和企业

• Web 浏览器：浏览网站并检索其内容

• 维基百科搜索：查找相关的维基百科页面

• 维基百科地理数据搜索：按地理位置定位维基百科文章

• 维基百科页面检索器：获取完整的维基百科页面内容

• 运行 Python 脚本进行计算、测试和输出生成，包括文本和图像

• 可以将Python模块添加到Python解释器中

• Python代码在AWS Lambda提供的安全环境中运行

• Markdown (.md)：方便阅读和编辑

• Word 文档 (.docx)：用于文档编辑

• 个人存档：使用语义数据库存储和检索文本、Markdown 或 HTML 内容

• Sketchbook：管理多页素描本，用于编写和审阅长格式内容。支持多种输出格式：

• 图像生成：根据文本提示创建图像

• 图像目录搜索：按描述搜索图像

• 图像相似性搜索：根据参考图像查找相似图像

• 随机图像：从目录中检索随机图像

• 按 ID 获取图像：使用 ID 从目录中检索特定图像

• 图像目录计数：返回目录中图像的总数

• 下载图像：将 URL 中的图像添加到目录中

• 搜索并下载 arXiv 论文

• 将纸质内容存储在存档中以便于检索

• 将内容转换为三个人之间的对话

• 使用文本转语音为对话生成音频文件

• 保存文件：允许将文本内容保存到输出目录中具有指定名称的文件中