项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 36532
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(README 通过 PyPI 分发 hanlp 包,可从 PyPI 安装)
- 已安装 PyTorch 或 TensorFlow 2.x 深度学习后端(README 说明 HanLP 基于二者构建)
- 能够正常访问 PyPI 与模型下载源的网络环境
- 预留足够磁盘空间存放预训练模型
安装与启动步骤
-
1安装 hanlp 包
README 标注了 PyPI 包 hanlp,用 pip 安装即可,建议在独立虚拟环境中执行,避免与已有依赖冲突。
pip install hanlp -
2导入库并加载模型
通过 hanlp.load 加载预训练多任务模型,模型标识用 README 中给出的常量,首次加载会下载模型文件。
import hanlp HanLP = hanlp.load(hanlp.pretrained.mtl.UD_ONTONOTES_TOK_POS_LEM_FEA_NER_SRL_DEP_SDP_CON_XLMR_BASE) -
3执行多语种推理
把文本列表直接传给加载好的模型对象即可,一次返回分词、词性、命名实体、依存等多个任务结果。
print(HanLP(['In 2021, HanLPv2.1 delivers state-of-the-art multilingual NLP techniques to production environments.', '2021年、HanLPv2.1は次世代の最先端多言語NLP技術を本番環境に導入します。', '2021年 HanLPv2.1为生产环境带来次世代最先进的多语种NLP技术。'])) -
4按语种换用单语模型
README 指出处理英、中、日文时各语种单语模型效果明显优于多语种模型,可按需在文档模型列表中挑选替换。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
hanlp.pretrained.mtl.UD_ONTONOTES_TOK_PO | 是 | README Quick Start 中加载的多语种多任务预训练模型标识 | hanlp.pretrained.mtl.UD_ONTONOTES_TOK_POS_LEM_FEA_NER_SRL_DE |
如何确认成功
运行示例代码后能打印出包含分词、词性、命名实体等多任务字段的结果,即表示模型加载与推理成功。
常见问题
Q:第一次运行很久没输出?
A:首次使用会下载预训练模型,模型体积较大,需等待下载完成;请确认网络与磁盘空间充足后重试。
Q:中英日文本效果不理想怎么办?
A:README 说明 HanLP 为各语种提供单语模型,效果明显优于多语种模型,可在官方文档的模型列表中选用对应单语模型替换。
Q:可以直接把模型当函数调用吗?
A:可以。README 指出 Python 的 HanLPClient 同样遵循可调用语义,可视化与标注规范等细节见官方文档。
注意事项
- README 未给出具体 Python 版本与 pip 安装命令,安装步骤由 PyPI 徽标推断,建议先建虚拟环境再安装。
- 首次加载预训练模型会触发下载,耗时与网络、磁盘空间有关。
- 多语种模型便于统一处理,但生产环境建议按语种选择单语模型。
- 更多模型列表、可视化与标注说明请查阅官方文档。
核心亮点
- 覆盖分词、词性、NER、依存句法、语义依存、文本分类等完整中文 NLP 任务链,一个库替代多个零散工具
- 提供预训练模型与多任务统一模型,加载即用,降低从研究到上线的工程门槛
- Python 实现且文档较完善,示例丰富,社区活跃,问题响应和版本迭代持续
不足之处
- 深度模型推理对算力有要求,CPU 环境下大批量处理速度有限
- 高阶语义任务与最新大模型方案相比,在开放域泛化和少样本场景仍有差距
适用场景
- 中文文本预处理:分词、词性标注、去停用词,为下游检索或分析打基础
- 从新闻、评论、工单中抽取人名、地名、机构名等实体,构建结构化信息
- 对中文句子做依存句法或语义依存分析,支撑关系抽取、知识图谱构建
替代项目
jieba、LTP、spaCy
上一篇:skills
下一篇:generative-ai
同类项目推荐
langchain-nvidia
开源
在 LangChain 里几行代码接入 NVIDIA 大模型推理
texar
开源
用 TensorFlow 快速搭建 NLP 和文本生成模型
Toolkit for Machine Learning, Natural Language Processing, and Text Generation, in T···
loop-engineering
开源
套上现成模板,AI 干活一次比一次稳。
Practical patterns, starters & CLI tools for loop engineering with AI coding agents.···
nextpy
开源
让AI模型运行时自我进化,告别手动调参
Self-Modifying Framework from the Future World's First AMS
openai-agents-go
开源
用 Go 快速搭多智能体工作流,接 OpenAI 模型
A lightweight, powerful framework for multi-agent workflows in Go
Awesome-LLM-Prompt-Optimization
开源
一站式速查LLM提示词优化方法,告别手动调参
Awesome-LLM-Prompt-Optimization: a curated list of advanced prompt optimization and ···
dive-into-langgraph
开源
跟着 Notebook 一步步跑通 LangGraph 1.0 智能体
LangGraph 1.0 Tutorial
burr
开源
用状态机构建可追踪的 AI 决策应用,自托管无忧
Build applications that make decisions (chatbots, agents, simulations, etc...). Moni···
实时盯紧 AI 编程 token 消耗,省钱又省心
Claude Code & Codex 本地 token 追踪 — 状态栏(Codex 业界首创伪 statusline)、GitHub···
