Jina AI 开源 RAG 关键组件-网页内容爬取

摘要 Reader是一个将任何URL转换为LLM友好输入的工具，只需在URL前加上https://r.jina.ai/即可。它可以提供改进的输出，适用于您的代理和RAG系统。

关键部分

• 标准模式：将https://r.jina.ai/添加到任何URL前，以将其转换为LLM友好输入。

• 流式模式：使用accept-header控制流式传输行为，可以更快地访问和处理数据。

• JSON模式：使用accept-header控制输出格式为JSON，目前仅包含url、title和content三个字段。

• 安装：需要Node v18和Firebase CLI来运行项目，并在backend/functions目录中安装npm依赖。

• thinapps-shared子模块：是一个内部包，用于在产品之间共享代码，不影响Reader的功能。

请注意，Reader由Jina AI支持，并在Apache-2.0许可下发布。