dotLLM
在 .NET 里直接跑大模型推理，省掉 Python 胶水层
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 528
核心亮点
- 纯 C#/.NET 实现，可与现有 .NET 服务同进程集成，减少跨语言部署成本
- 面向 LLM 推理场景设计，提供模型加载与推理调度的基础抽象
- 开源可读，便于 .NET 团队二次开发和定制推理流程
不足之处
- 早期项目，API 与功能可能频繁变动，生产稳定性待验证
- 相比成熟推理引擎，性能优化、量化支持和模型格式兼容性尚不完整
适用场景
- 企业 .NET 后端服务内嵌轻量模型推理能力
- 桌面端 C# 应用集成离线文本生成功能
- 评估 .NET 生态本地推理方案的技术选型原型
替代项目
llama.cpp、LLamaSharp、Ollama
上一篇：llm-router
下一篇：larql
同类项目推荐
scalax
开源
让 JAX 程序轻松跑满多卡，分布式训练不再复杂。
A simple library for scaling up JAX programs
paddock
开源
Rust 写的推理服务器，Mac 和 N 卡都能跑开放模型
Native Rust inference server for open models on NVIDIA and Apple Silicon. OpenAI- an···
ai00_server
开源
一键部署 RWKV 模型，集成聊天、嵌入、RAG 和智能代理。
The all-in-one RWKV runtime box with embed, RAG, AI agents, and more.
PAI
开源
U 盘启动即用，离线跑本地大模型
Bootable Debian 12 live USB that runs Ollama locally for a private, offline AI deskt···
onnxruntime-genai
开源
ONNX 模型一键跑生成式 AI，跨平台多语言
Generative AI with ONNX Runtime
dfserver
开源
用 Go 打造高并发 AI 图像生成流水线，提升吞吐量。
A distributed backend AI pipeline server
Axon
开源
终端里实时看穿 LLM 调用链，调试智能体快人一步
OpenTelemetry-native LLM observability CLI. Point any OTEL exporter at it and watch ···
oss-llmops-stack
开源
一套组合拳，搞定 LLM 应用的路由、监控与调优
Modular, open source LLMOps stack that separates concerns: LiteLLM unifies LLM APIs,···
Memori
开源
给 AI 装上持久记忆，让智能体不再失忆
Memori is agent-native memory infrastructure. A LLM-agnostic layer that turns agent ···