Reader：将 URL 转换为 LLM 可以理解的输入

项目简介

您LLMs应该得到更好的投入。

Reader 将任何 URL 转换为带有简单前缀 https://r.jina.ai/ 的 LLM-friendly 输入。免费为您的代理和 RAG 系统提供改进的输出。

• 现场演示：https://jina.ai/reader

• 或者只是 https://r.jina.ai/https://github.com/jina-ai/reader 访问这些 URL，https://r.jina.ai/https://x.com/elonmusk 并查看自己。

用法

标准模式

只需 https://r.jina.ai/ 将任何 URL 附加到前面即可。例如，若要将 URL https://en.wikipedia.org/wiki/Artificial_intelligence 转换为 LLM-friendly 输入，请使用以下 URL：

https://r.jina.ai/https://en.wikipedia.org/wiki/Artificial_intelligence

流模式

使用 accept-header 控制流式处理行为：

请注意，如果您在下面运行此示例，但看不到流式输出，而是看到单个响应，则意味着其他人刚刚在 5 分钟内运行了此示例，并且结果已被缓存。因此，服务器只是立即返回结果。尝试使用其他 URL，您将看到流式处理输出。

curl -H "Accept: text/event-stream" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

如果下游 LLM/agent 系统需要即时内容交付，或者需要以块形式处理数据以交错 IO 和LLM时间，请使用流式处理模式。这样可以更快地访问和高效处理数据：

Reader API:  streamContent1 ----> streamContent2 ----> streamContent3 ---> ...                           |                    |                     |                          v                    |                     |Your LLM:                 LLM(streamContent1)  |                     |                                               v                     |                                               LLM(streamContent2)   |                                                                     v                                                                     LLM(streamContent3)

当目标页面较大而无法呈现时，流模式也很有用。如果您发现标准模式为您提供了不完整的内容，请尝试流式传输模式。

JSON 模式

这还为时过早，结果并不是真正“有用”的JSON。它包含三个字段 url ， title 并且 content 只有。尽管如此，您可以使用 accept-header 来控制输出格式：

curl -H "Accept: application/json" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

安装

您将需要以下工具来运行该项目：

• Node v18（节点版本 >18 的构建失败）

• Firebase 命令行界面 （ npm install -g firebase-tools ）

对于后端，转到 backend/functions 目录并安装 npm 依赖项。

git clone [email protected]:jina-ai/reader.gitcd backend/functionsnpm install

什么是 thinapps-shared 子模块？

您可能会注意到对 thinapps-shared submodule 的引用，submodule 是我们用于在产品之间共享代码的内部包。虽然它不是开源的，也不是阅读器功能的组成部分，但它主要帮助装饰器、日志记录、机密管理等。暂时可以忽略它。

也就是说，这是背后的 https://r.jina.ai 单一代码库，所以每次我们在这里提交时，我们都会将新版本部署到 https://r.jina.ai .