LLMLingua

环境要求

• 已安装 Python 与可用的 pip 环境
• 网络可访问 HuggingFace 以下载压缩模型权重
• 如需使用 GPTQ 量化模型，需额外安装 optimum 与 auto-gptq
• 具备本机（或 GPU）运行轻量语言模型的资源

安装与启动步骤

1. 1安装 LLMLingua

   使用 pip 直接安装官方包，这是 README 给出的唯一安装方式，装完即可在 Python 中导入使用。

   pip install llmlingua

   复制

2. 2安装 GPTQ 附加依赖

   只有加载 GPTQ 量化模型（如 TheBloke/Llama-2-7b-Chat-GPTQ）时才需要执行这一步。

   pip install optimum auto-gptq

   复制

3. 3加载压缩器实例

   从 llmlingua 导入 PromptCompressor，传入模型名与 model_config，未指定模型时使用默认模型。

   from llmlingua import PromptCompressor
   
   llm_lingua = PromptCompressor("TheBloke/Llama-2-7b-Chat-GPTQ", model_config={"revision": "main"})

   复制

4. 4调用 LongLLMLingua

   面向长文档/长上下文场景，需把 rank_method 设为 longllmlingua 并配合额外的长文档参数。

   from llmlingua import PromptCompressor
   
   llm_lingua = PromptCompressor()
   compressed_prompt = llm_lingua.compress_prompt(
       prompt_list,
       question=question,
       rate=0.55,
       condition_in_question="after_condition",
       reorder_context="sort",
       dynamic_context_compression_ratio=0.3,
       condition_compare=True,
       context_budget="+100",
       rank_method="longllmlingua",
   )

   复制

5. 5调用 LLMLingua-2

   使用 XLM-RoBERTa 版压缩模型，需把 use_llmlingua2 置为 True，并可用 force_tokens 指定必须保留的字符。

   from llmlingua import PromptCompressor
   
   llm_lingua = PromptCompressor(
       model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank",
       use_llmlingua2=True,
   )
   compressed_prompt = llm_lingua.compress_prompt(prompt, rate=0.33, force_tokens=['\n', '?'])

   复制

6. 6结构化分段压缩

   用 llmlingua 标签切分文本，可对不同段分别设置 compress 与 rate，再调用 structured_compress_prompt。

   compressed_prompt = llm_lingua.structured_compress_prompt(structured_prompt, instruction="", question="", rate=0.5)
   print(compressed_prompt['compressed_prompt'])

   复制

关键配置

如何确认成功

执行 compress_prompt 后打印 compressed_prompt，能正常返回压缩后的提示词即表示安装与调用成功。

常见问题

注意事项

• README 只提供 pip 安装与 Python 调用示例，未给出 Docker 或服务端部署方式。
• 首次运行会从 HuggingFace 下载模型权重，需保证网络通畅与足够磁盘空间。
• GPTQ 量化模型需要额外的 optimum 与 auto-gptq 依赖，普通模型无需安装。
• 结构化压缩需按 README 格式使用 <llmlingua> 标签切分文本段。