Linly

训练和部署中文大模型，从数据到对话一站式搞定

Linly 是一个专注于中文大语言模型的开源项目，提供从基础模型到对话模型的完整训练方案和数据集。它包含 Chinese-LLaMA 1&2、Chinese-Falcon 等基础模型，以及 ChatFlow 中文对话模型和中文 OpenLLaMA 模型。项目旨在解决中文 NLP 任务中英文模型表现不佳的问题，通过公开的预训练和指令微调数据集，支持零样本学习、对话生成等场景。核心能力包括模型训练、微调、推理和数据集构建，适合研究者和开发者快速构建中文 AI 应用。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3037

维护状态低维护

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队CVI-SZU

所属国家

官网地址

GitHubhttps://github.com/CVI-SZU/Linly

定价模式free

价格说明开源模型，本地部署，完全免费

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型bert,chatbot,chatgpt,chinese,chinese-nlp,gpt-3,language-model,llama,nlp,zero-shot-learning

GitHub 星标★ 3037

30天Star增速

HF 下载量

上线时间2023-03-21 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

难度：进阶约 20 分钟部署方式：本地安装 7 步

环境要求

Python 3.8.12
CUDA 11.2.2 / cuDNN 8.1.1.33-1
PyTorch 1.9.0
bitsandbytes 0.37.2
已安装 git-lfs（用于拉取 HuggingFace 模型权重）

安装与启动步骤

1安装 LFS 并拉取权重

先启用 git-lfs，再从 HuggingFace 克隆 ChatFlow-7B 权重，模型体积较大需耐心等待并保证磁盘空间
```
git lfs install
git clone https://huggingface.co/Linly-AI/ChatFlow-7B
```
2克隆推理代码

下载官方 llama_inference 推理仓库，权重与代码需放在同级或可相对寻址的目录下
```
git clone https://github.com/ProjectD-AI/llama_inference
```
3准备输入提示词

进入推理目录，编辑 prompts.txt 写入用户输入，例如“上海有什么好玩的地方？”
```
cd llama_inference
vi prompts.txt
```

4运行命令行推理

指定权重、配置、tokenizer 与序列长度执行推理，结果写入 result.txt，解码参数详见 llama_inference

python3 llama_infer.py --test_path prompts.txt --prediction_path result.txt --load_model_path ../ChatFlow-7B/chatflow_7b.bin --config_path config/llama_7b_config.json --spm_model_path ../ChatFlow-7B/tokenizer.model --seq_length 512

5安装 Flask 依赖

微服务部署需要 flask，先在当前 Python 环境安装
```
pip install flask
```

6启动微服务

在 llama_inference 目录下启动 HTTP 服务，监听本机 8888 端口，参数与推理脚本一致

python3 llama_server.py --load_model_path ../ChatFlow-7B/chatflow_7b.bin --config_path config/llama_7b_config.json --spm_model_path ../ChatFlow-7B/tokenizer.model --seq_length 512

7调用接口测试

用 curl 向 /chat 发送 JSON 问题，验证服务是否正常返回模型回复

curl -H 'Content-Type: application/json' http://127.0.0.1:8888/chat -d '{"question": "北京有什么好玩的地方？"}'

关键配置

配置项	必填	说明	示例
`--load_model_path`	是	模型权重文件路径，如 chatflow_7b.bin	`../ChatFlow-7B/chatflow_7b.bin`
`--config_path`	是	模型结构配置文件路径	`config/llama_7b_config.json`
`--spm_model_path`	是	分词模型文件路径	`../ChatFlow-7B/tokenizer.model`
`--seq_length`	是	推理序列长度，README 示例为 512	`512`
`--test_path`	否	命令行推理的输入提示词文件	`prompts.txt`
`--prediction_path`	否	命令行推理的结果输出文件	`result.txt`

如何确认成功

命令行推理后查看 result.txt 是否生成回答；微服务启动后 curl 请求 /chat 能返回 JSON 回复即成功。

常见问题

Q：这套流程能用在最新的 Linly-Chinese-LLaMA-2 上吗？

A：不能。README 明确说明本流程使用 TencentPretrain 格式权重，不适用于最新版 Linly-Chinese-LLaMA-2 的 hf 格式权重，后者请按 HuggingFace 页面说明使用。

Q：没有 GPU 能部署吗？

A：可以尝试 Int4 CPU 本地部署，ChatFlow 支持通过 llama.cpp 将 Int4 量化权重放在本地 CPU 推理，详见项目 wiki 的 int4 推理页面。

Q：微服务调用返回失败怎么排查？

A：先确认 flask 已安装、启动命令中的三个路径参数正确，并用 127.0.0.1:8888 访问；启动报错信息通常能直接指出路径或依赖问题。

Q：提示词文件怎么改？

A：直接编辑 prompts.txt，写入想提问的句子，例如“上海有什么好玩的地方？”，保存后重新运行推理命令即可。

注意事项

必须先执行 git lfs install，否则克隆到的是指针文件而非真实权重。
README 给出的测试环境为 py3.8.12、cuda11.2.2、cudnn8.1.1.33-1、torch1.9.0、bitsandbytes0.37.2，环境差异可能导致运行失败。
模型权重体积较大，请预留充足磁盘空间并保证网络稳定。
更多解码参数和详细说明请参考 llama_inference 仓库。

核心亮点

提供完整的中文预训练和指令微调数据集，降低数据获取成本
覆盖 LLaMA、Falcon 等多种主流架构，适配不同算力需求
包含基础模型和对话模型，支持从零训练到微调的全流程

不足之处

文档和社区支持相对薄弱，新手上手可能遇到障碍
模型规模和效果与商业闭源模型仍有差距

适用场景

中文 NLP 学术研究，如文本分类、命名实体识别
企业定制中文对话机器人，用于客服或助手
教育领域的中文语言模型教学与实验

替代项目

Chinese-LLaMA-Alpaca、BELLE、MOSS

项目介绍

Linly 是开源模型领域的开源项目，由 CVI-SZU 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（3,037）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。本地部署，完全免费。

它主要面向的使用场景是：中文NLP学术研究，如文本分类、命名实体识别。同类可对比的替代方案包括 Chinese-LLaMA-Alpaca、BELLE、MOSS。

上一篇：InternLM

下一篇：mPLUG-Owl