KnowLM

给大模型注入知识，让回答更专业准确

KnowLM 是一个开源的知识增强大语言模型框架，旨在提升大模型在知识密集型任务上的表现。它通过整合外部知识库、知识图谱和结构化数据，在预训练、微调和推理阶段注入知识，解决通用大模型在专业领域知识不足、事实性错误和推理能力弱的问题。核心能力包括知识注入的模型训练工具链、知识感知的指令微调方法，以及支持多任务的知识评估基准。框架基于 Python 构建，提供灵活的接口，方便开发者集成自定义知识源，并支持模型的高效部署。项目处于成长阶段，社区活跃，适合需要构建领域专用知识模型的研发团队。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1386

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队zjunlp

所属国家

官网地址http://knowlm.zjukg.cn

GitHubhttps://github.com/zjunlp/KnowLM

定价模式free

价格说明开源框架，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型bilingual,chinese,deep-learning,deepspeed,english,gpt-3,instructie,instruction-following,instruction-tuning,instructions,knowlm,language-model,large-language-models,llama,lora,models,pre-trained-language-models,pre-trained-model,pre-training,reasoning

GitHub 星标★ 1386

30天Star增速

HF 下载量

上线时间2023-04-01 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：进阶约 20 分钟部署方式：本地安装 7 步

环境要求

Python 3.9
conda 环境管理工具
PyTorch 1.13.1+cu116 及对应 CUDA 11.6
NVIDIA GPU（案例在 V100 上运行）
git

安装与启动步骤

1克隆仓库

从 GitHub 克隆 KnowLM 项目到本地，并进入项目目录。
```
git clone https://github.com/zjunlp/KnowLM.git
cd KnowLM
```
2创建并激活环境

使用 conda 创建 Python 3.9 虚拟环境并激活，环境名 knowlm。
```
conda create -n knowlm python=3.9 -y
conda activate knowlm
```
3安装 PyTorch

安装与 CUDA 11.6 对应的 PyTorch 1.13.1。若 CUDA 版本不同请自行调整。
```
pip install torch==1.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
```
4安装项目依赖

根据 requirements.txt 安装项目所需 Python 依赖。
```
pip install -r requirements.txt
```
5命令行交互

加载 knowlm-13b-base 模型，进入命令行交互模式；单卡显存不足时可加 --multi_gpu。
```
python examples/generate_finetune.py --base_model zjunlp/knowlm-13b-base-v1.0 --interactive
```
6启动 Web 交互

启动 Pretraining 模型的 Web 交互页面，适合灵活调整任务。
```
python examples/generate_finetune_web.py --base_model zjunlp/knowlm-13b-base-v1.0
```

7启动 vLLM API

启动 vLLM API 服务，监听 8090 端口，使用多卡张量并行加速。需指定模型路径 data/zhixi-13B。

CUDA_VISIBLE_DEVICES=1,2 python inference/launch_vllm.py --port 8090 --model data/zhixi-13B --use-np-weights --max-num-batched-tokens 8000 --dtype half --tensor-parallel-size 2

关键配置

配置项	必填	说明	示例
`--base_model`	是	指定要加载的基础模型名称或路径	`zjunlp/knowlm-13b-base-v1.0`
`--model`	是	vLLM 服务加载的模型权重路径	`data/zhixi-13B`
`--port`	是	vLLM API 服务监听的端口	`8090`
`--multi_gpu`	否	单卡显存不足时启用多卡加载	`--multi_gpu`
`--tensor-parallel-size`	否	vLLM 张量并行使用的 GPU 数量	`2`

如何确认成功

启动 vLLM 后，用 curl POST 请求 http://127.0.0.1:8090/generate 能返回 generated_text 即成功；Web 交互启动后在浏览器打开页面即可确认。

常见问题

Q：单张 GPU 显存不够怎么办？

A：使用 CUDA_VISIBLE_DEVICES 指定多张 GPU 并添加 --multi_gpu 参数，或通过 --allocate 指定每张卡显存（单位 GB）。

Q：如何做信息抽取任务？

A：启动 knowlm-13b-zhixi 的 LoRA 交互，在 instruction 填指令、input 填待抽取句子；也可运行 generate_lora.py 加 --run_ie_cases。

Q：怎么调整生成结果的多样性？

A：需要多样输出可提高 top_k/top_p 和 temperature；需要聚焦高质量可降低这些值或使用 beam search。

Q：Docker 方式怎么用？

A：docker pull zjunlp/knowlm:v.1 拉取镜像，再用 docker run -it zjunlp/knowlm:v.1 /bin/bash 进入容器。

Q：项目还在开发中吗？

A：是，README 说明项目仍在优化和开发，模型权重会定期更新以支持新功能。

注意事项

项目仍在优化开发中，模型权重会定期更新。
案例在 V100 上运行，其他设备结果可能有差异，可多次运行或改解码参数。
指令微调模型默认用 Web 交互；信息抽取需分 instruction 和 input 填写。
缺少 GPU 资源时可用 llama.cpp 进行量化。

核心亮点

提供完整的知识注入训练流程，从预训练到微调均支持知识增强
内置知识评估基准，可量化模型在知识任务上的表现
基于主流框架（如 Transformers）开发，易于集成和扩展

不足之处

文档和教程相对简略，上手门槛较高
社区规模较小，生态和第三方支持待完善

适用场景

构建法律、医疗等垂直领域的专业知识问答助手
提升企业私有知识库的检索增强生成（RAG）效果
用于学术研究，探索知识注入与模型推理的结合

替代项目

LangChain、LlamaIndex、KEPLER

项目介绍

KnowLM 是开源模型领域的开源项目，由 zjunlp 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,386）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：构建法律、医疗等垂直领域的专业知识问答助手。同类可对比的替代方案包括 LangChain、LlamaIndex、KEPLER。

上一篇：Qwen2.5-Math

下一篇：YuLan-Chat