项目简介
一款将人工智能功能与传统个人生产力相结合的人工智能助手应用程序。人工智能可以在后台工作以回答多个聊天、处理任务以及流/提要条目。
这是“阿尔法”软件。它是新的。存在错误和问题。
某些功能（尤其是助手模式）可能会使用大量令牌。当您使用付费 API 尝试此操作时请注意。这是一个早期版本，存在错误和需要改进。
安装和设置
您应该安装 Python 3 和 git。我试图保持应用程序的轻量级，但 RAG 需要下载一些大文件（嵌入和交叉编码器大约 850mb）。
该应用程序不包含 LLM 引擎。您可以将其连接到任何与 openai 兼容的端点，例如 llama.cpp、带有 --api 标志的 oobabooga 以及较新版本的 ollama。我经常使用 llama-cpp-python 和 ai。
步骤1
如果您使用的是 Windows，请参阅此安装说明。
$ git clone [email protected]:AndrewVeee/nucleo-ai.git
# Create python venv, install torch cpu-only and requirements.txt. Copy config file.$ ./setup.sh
第2步
编辑
./data/config.toml
中的配置文件
找到
[llm]
块并设置
openai_base_url
（类似于 http://localhost:5000/v1）和
openai_api_key
（如果需要）。如果您想要求身份验证才能连接到 Nucleo，您还可以在顶部设置
secret_key
。
步骤3
运行
./start.sh
以启动应用程序。第一次运行将需要一些时间来下载用于 RAG 支持的 SentenceTransformers 模型。
应用程序启动后，您将看到类似以下的行：
* Running on http://127.0.0.1:4742
在浏览器中打开链接即可开始使用 Nucleo！
步骤4
如果您有时间，请分享您对 r/nucleoai 的初步反馈 - 这将有助于改进应用程序！
特征
定期聊天
Nucleo 支持常规聊天。您可以创建多个聊天，并在创建时选择保存的或临时（一次性）聊天。
助手
助手聊天模式让人工智能根据请求列出任务列表并执行它们。它可以执行网络搜索、添加待办事项条目、创建文档和响应。
这还很早，大多数模型都会犯错误。Mixtral 往往表现得很好。我个人使用 OpenHermes Mistral 7b 进行测试，除非你对措辞非常小心，否则它的成功率约为 50%。
研究员
在直播中，您可以点击“添加到您的直播...”中的“研究”选项，让人工智能深入研究某个主题。
它将生成研究主题的初始列表，并允许您配置最大深度、最大研究时间、是否应该搜索网络以及其他选项。
研究人员将生成一份包含该主题研究的文档，包括底部使用的链接。
文档 (RAG)
您可以在“文档”选项卡中上传 PDF（我现在建议 < 5mb）或上传纯文本/Markdown 文件。您可以在顶部创建新文档，或粘贴 URL 来下载并将其转换为 Markdown。
上传文件后，您可以启用文档聊天模式，它应该可以很好地查找相关内容并做出响应。当然，这取决于您的型号。对于小型上下文模型，请确保将“过去的消息”聊天选项设置得较低，否则 RAG 结果就没有太多空间。
Stream
流选项卡显示助手已执行的操作列表。您还可以将一次性聊天添加到流中 - 助理任务、快速聊天或消息（粘贴电子邮件等以进行分类和总结）。创建条目后，您可以稍后重播它们。
