项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1005
使用教程
环境要求
- 已安装 Python 与 pip（README 未指定具体版本）
- 可访问 PyPI 以安装 langkit
- 运行示例需使用 Python 环境（代码中用 whylogs）
安装与启动步骤
-
1安装 LangKit
README 提供的唯一安装方式是通过 PyPI 安装，命令中带 [all] 以拉取全部可选依赖。
pip install langkit[all] -
2运行最小示例
导入 langkit 模块并调用 init() 生成自定义 schema，再用 whylogs 对 prompt/response 做日志记录，即可得到一组指标。
import whylogs as why from langkit import llm_metrics results = why.log({"prompt": "Hello!", "response": "World!"}, schema=llm_metrics.init()) -
3查看更多示例
README 指向仓库内的 examples 目录与入门 Notebook，可按需参考更多用法（非必需步骤）。
如何确认成功
运行示例代码无报错，并返回包含 langkit 指标的 whylogs profile 结果即表示安装成功。
常见问题
Q：pip 安装 langkit 失败怎么办？
A：确认当前环境可访问 PyPI，并使用 README 给出的完整命令 pip install langkit[all]（含中括号部分）重新安装。
Q：生成的指标怎么可视化和监控？
A：README 说明这些 profile 可在 WhyLabs 平台可视化与监控，也可以自行对 profile 结果做进一步分析。
Q：LangKit 内置哪些指标？
A：开箱指标包括文本质量（可读性、复杂度与年级分数）、文本相关性（提示词与响应相似度、与自定义主题相似度）以及安全隐私相关指标等。
Q：需要单独安装 whylogs 吗？
A：示例代码中直接 import whylogs 并将 langkit 模块的 UDF 接入其 String 特征，安装 langkit[all] 后即可按 README 示例使用。
注意事项
- README 只提供了 pip 安装方式，没有 Docker、源码编译或云端部署说明。
- 所有 LangKit 模块的 UDF 会自动接入 whylogs 的 String 特征，因此导入模块后需通过 init() 构造自定义 schema。
- README 未给出 Python 版本、端口、路径等具体要求，遇到环境差异请以官方文档和仓库 examples 为准。
核心亮点
- 提供文本质量、相关性、情感等多维度指标，覆盖 LLM 监控核心需求
- 支持自定义指标扩展，可灵活适配不同业务场景
- 与 LangKit 生态集成，方便接入现有 LLM 工作流
不足之处
- 项目处于早期阶段，文档和社区支持有待完善
- 指标计算可能依赖外部模型或服务，增加部署复杂度
适用场景
- 生产环境 LLM 应用的质量监控与告警
- LLM 安全审计，检测提示注入和有害输出
- A/B 测试中对比不同模型或提示词的输出效果
替代项目
Langfuse、PromptLayer、Whylogs
上一篇：qwen.cpp
下一篇：FlexLLMGen
同类项目推荐
router
开源
换一个端点，50 毫秒内自动选对模型，成本直降 70%
Model router for agentic systems. Routes every prompt to the right model in <50ms. C···
fox-in-the-box
开源
一键安装 Hermes，快速自托管 AI 助手
Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform
restai
开源
一键将多种AI模型封装为API，可视化搭建AI服务
RESTai is an AIaaS (AI as a Service) open-source platform. Supports many public and ···
seait
开源
一键安装主流 AI 绘画工具，告别命令行折腾
SEAIT is a user-friendly application that simplifies the installation process of AI-···
DeepInfer
开源
让 DeepSeek 大模型多卡高吞吐跑起来
DeepInfer: High-performance, large-scale inference framework for DeepSeek models
Routerly
开源
换一个 URL，自动选最划算的 AI 模型
Self-hosted LLM gateway that routes requests across AI providers (OpenAI, Anthropic,···
spark-local-inference
开源
Rust 写的本地大模型推理服务底座，请求调度一把抓
mlx-serve
开源
在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python
Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No···
vmlx
开源
Mac 上跑 MLX 模型，一个格式搞定加载与量化
vMLX - Use MLX models easily - JANGQ (GGUF for MLX) - Not dependant on mlx_vlm