Linly

训练和部署中文大模型，从数据到对话一站式搞定

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署对话助手 🍴 复刻 221 🐛 待处理 109 👀 关注 47

GitHub ↗

GitHub 星标 ★ 3036

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，本地部署，完全免费

项目预览

项目数据

分类对话助手

开发团队CVI-SZU

GitHubhttps://github.com/CVI-SZU/Linly

定价模式🏷️完全免费

价格说明开源模型，本地部署，完全免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

技术栈/模型bert,chatbot,chatgpt,chinese,chinese-nlp,gpt-3,language-model,llama,nlp,zero-shot-learning

GitHub 星标★ 3036

上线时间2023-03-21 00:00:00

代码更新2024-04-14

仓库体积7.4 MB

本站数据更新2026-11-07

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

Linly 是一个专注于中文大语言模型的开源项目，提供从基础模型到对话模型的完整训练方案和数据集。它包含 Chinese-LLaMA 1&2、Chinese-Falcon 等基础模型，以及 ChatFlow 中文对话模型和中文 OpenLLaMA 模型。项目旨在解决中文 NLP 任务中英文模型表现不佳的问题，通过公开的预训练和指令微调数据集，支持零样本学习、对话生成等场景。核心能力包括模型训练、微调、推理和数据集构建，适合研究者和开发者快速构建中文 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3036

技术标签

bert chatbot chatgpt chinese chinese-nlp

使用教程

难度：进阶约 20 分钟部署方式：本地安装 7 步

环境要求

Python 3.8.12
CUDA 11.2.2 / cuDNN 8.1.1.33-1
PyTorch 1.9.0
bitsandbytes 0.37.2
已安装 git-lfs（用于拉取 HuggingFace 模型权重）

安装与启动步骤

1安装 LFS 并拉取权重

先启用 git-lfs，再从 HuggingFace 克隆 ChatFlow-7B 权重，模型体积较大需耐心等待并保证磁盘空间
```
git lfs install
git clone https://huggingface.co/Linly-AI/ChatFlow-7B
```
2克隆推理代码

下载官方 llama_inference 推理仓库，权重与代码需放在同级或可相对寻址的目录下
```
git clone https://github.com/ProjectD-AI/llama_inference
```
3准备输入提示词

进入推理目录，编辑 prompts.txt 写入用户输入，例如“上海有什么好玩的地方？”
```
cd llama_inference
vi prompts.txt
```

4运行命令行推理

指定权重、配置、tokenizer 与序列长度执行推理，结果写入 result.txt，解码参数详见 llama_inference

python3 llama_infer.py --test_path prompts.txt --prediction_path result.txt --load_model_path ../ChatFlow-7B/chatflow_7b.bin --config_path config/llama_7b_config.json --spm_model_path ../ChatFlow-7B/tokenizer.model --seq_length 512

5安装 Flask 依赖

微服务部署需要 flask，先在当前 Python 环境安装
```
pip install flask
```

6启动微服务

在 llama_inference 目录下启动 HTTP 服务，监听本机 8888 端口，参数与推理脚本一致

python3 llama_server.py --load_model_path ../ChatFlow-7B/chatflow_7b.bin --config_path config/llama_7b_config.json --spm_model_path ../ChatFlow-7B/tokenizer.model --seq_length 512

7调用接口测试

用 curl 向 /chat 发送 JSON 问题，验证服务是否正常返回模型回复

curl -H 'Content-Type: application/json' http://127.0.0.1:8888/chat -d '{"question": "北京有什么好玩的地方？"}'

关键配置

配置项	必填	说明	示例
`--load_model_path`	是	模型权重文件路径，如 chatflow_7b.bin	`../ChatFlow-7B/chatflow_7b.bin`
`--config_path`	是	模型结构配置文件路径	`config/llama_7b_config.json`
`--spm_model_path`	是	分词模型文件路径	`../ChatFlow-7B/tokenizer.model`
`--seq_length`	是	推理序列长度，README 示例为 512	`512`
`--test_path`	否	命令行推理的输入提示词文件	`prompts.txt`
`--prediction_path`	否	命令行推理的结果输出文件	`result.txt`

如何确认成功

命令行推理后查看 result.txt 是否生成回答；微服务启动后 curl 请求 /chat 能返回 JSON 回复即成功。

常见问题

Q：这套流程能用在最新的 Linly-Chinese-LLaMA-2 上吗？

A：不能。README 明确说明本流程使用 TencentPretrain 格式权重，不适用于最新版 Linly-Chinese-LLaMA-2 的 hf 格式权重，后者请按 HuggingFace 页面说明使用。

Q：没有 GPU 能部署吗？

A：可以尝试 Int4 CPU 本地部署，ChatFlow 支持通过 llama.cpp 将 Int4 量化权重放在本地 CPU 推理，详见项目 wiki 的 int4 推理页面。

Q：微服务调用返回失败怎么排查？

A：先确认 flask 已安装、启动命令中的三个路径参数正确，并用 127.0.0.1:8888 访问；启动报错信息通常能直接指出路径或依赖问题。

Q：提示词文件怎么改？

A：直接编辑 prompts.txt，写入想提问的句子，例如“上海有什么好玩的地方？”，保存后重新运行推理命令即可。

注意事项

必须先执行 git lfs install，否则克隆到的是指针文件而非真实权重。
README 给出的测试环境为 py3.8.12、cuda11.2.2、cudnn8.1.1.33-1、torch1.9.0、bitsandbytes0.37.2，环境差异可能导致运行失败。
模型权重体积较大，请预留充足磁盘空间并保证网络稳定。
更多解码参数和详细说明请参考 llama_inference 仓库。