pydantic-ai-rlm

让任意 LLM 轻松处理超长上下文，省 token 又高效

Pydantic AI RLM 是一个基于 Pydantic AI 的扩展库，旨在解决大语言模型在处理超长上下文时的上下文窗口限制问题。它通过检索增强生成（RAG）和智能上下文管理机制，将海量文档或对话历史压缩、检索并动态注入到模型的提示中，使得任何 LLM 提供商（如 OpenAI、Anthropic 等）都能高效处理远超其原生上下文窗口长度的输入。核心能力包括：自动分块与向量化存储、基于查询的相关性检索、上下文窗口的动态裁剪与重组，以及与 Pydantic AI 的深度集成，让开发者可以无缝切换使用。该库特别适合需要处理长文档问答、大规模知识库交互和复杂多轮对话的场景，在不牺牲回答质量的前提下，大幅降低 API 调用成本并提升响应速度。