TensorSharp

用 C# 在本地跑 GGUF 大模型,带 GPU 加速和 OpenAI 兼容接口

开源 🏷️定价信息待确认 ⚠️ 链接可跳转,访问体验不确定 基础设施 🍴 复刻 70 🐛 待处理 8 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 651
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

TensorSharp 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队zhongkaifu
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⚠️ 链接可跳转,访问体验不确定
是否开源是
开源协议BSD-3-Clause
主要语言C#
技术栈/模型ai,csharp,cuda,deepseek,dotnet,dspark,gemma,gemma4,gguf,glm,inference,inference-engine,llm,ltx-2-5,metal,minimax-h3,minimax-m3,multimodal,qwen,transformers
GitHub 星标★ 651
上线时间2026-04-03 00:00:00
代码更新2026-11-01
仓库体积91.9 MB
本站数据更新2026-11-02
维护状态活跃
收录时间2026-09-14
浏览次数1

项目介绍

TensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎,专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性能本地 LLM 推理方案的问题,让 C# 开发者不必依赖 Python 或外部进程即可在应用中集成模型推理。核心能力包括:支持 Windows、macOS、iOS、Linux 多平台,并具备完整 GPU 加速能力(CUDA、Metal 等);提供控制台应用、网页版聊天界面,以及兼容 Ollama/OpenAI 的 HTTP API,方便程序化调用。项目覆盖 DeepSeek、Gemma、GLM 等主流模型家族,适合在桌面、移动端或服务端快速搭建私有化 AI 能力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 651

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • .NET 8 SDK
  • Windows 或 Linux
  • 可选 CUDA 加速

安装与启动步骤

  1. 1装 .NET SDK

    它是 .NET 库,先确认 SDK 版本够,旧版缺它用的语法特性。

  2. 2拉代码进目录

    Windows 上按 README 的 PowerShell 写法切目录,别用 bash 的全角路径。

    git clone https://github.com/zhongkaifu/TensorSharp.git
  3. 3编译并跑示例

    先 dotnet build 通过,再跑仓库里的示例工程确认算子可用。

  4. 4接自己的模型

    它覆盖文本、多模态、嵌入、图像生成和视频,先只接一种模态。

如何确认成功

示例工程编译通过并能跑出一个推理结果

注意事项

  • 它同时提供库和上层代理,先只用库那一层。
  • 多模态能力依赖外部模型权重,体积较大。
  • 文档以中文为主,接口示例比 API 文档更实用。

核心亮点

  • 纯 .NET 原生实现,C# 项目可直接引用,无需 Python 运行时
  • 跨平台覆盖 Windows/macOS/iOS/Linux,且支持 CUDA、Metal 等 GPU 加速
  • 同时提供控制台、网页聊天和 OpenAI/Ollama 兼容 API,开箱即用

不足之处

  • 项目处于早期,432 星标,生态和文档成熟度有限
  • 仅支持 GGUF 格式,模型格式兼容范围较窄

适用场景

  • 在 .NET 桌面或服务端应用中嵌入本地 LLM 推理能力
  • 用 OpenAI 兼容 API 替换云端调用,实现私有化部署
  • 在 iOS/macOS 上通过 Metal 加速运行本地聊天助手

替代项目

llama.cpp、Ollama、LM Studio

上一篇:accelerated-data-science

下一篇:WilmerAI

同类项目推荐

WorldFoundry 开源

统一跑通世界模型推理与评测,告别碎片化流程。

Unified World Model Inference & Evaluation Infrastructure

★ 321 2026-08-09
n8n-nodes-qdrant 开源

在 n8n 里拖拽连接 Qdrant,快速实现向量检索与 RAG。

Official n8n node for interfacing with Qdrant

★ 78 2026-08-09
pebblo 开源

加载数据前先过一道安全筛,让 Gen AI 应用安心上线

Pebblo enables developers to safely load data and promote their Gen AI app to deploy···

★ 149 2026-08-09
VelesDB 开源

一个二进制搞定 Agent 记忆,召回还能给出证据链

The explainable, local-first memory engine for AI agents. One ~9 MB binary fuses vec···

★ 102 2026-11-02
LLM-API-Key-Proxy 开源

一个 API 接入所有大模型,自动切换密钥和负载均衡

Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···

★ 559 2026-08-09
langsmith-fetch 开源

一条命令把 LangSmith 追踪数据拉到本地做分析

CLI for fetching LangSmith data

★ 119 2026-09-25
antirion 开源

一个 Rust 二进制统一管住所有大模型调用

️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in co···

★ 630 2026-10-21
privacy-filter 开源

给 LLM 请求装个隐私过滤器,毫秒级脱敏,防数据泄露

LLM privacy gateway in Go — millisecond-latency PII and secret redaction. Used in p···

★ 340 2026-08-09
chmonitor 开源

给 ClickHouse 配个 AI 军师,实时监控并自动给出调优建议

Open-source operational advisor for ClickHouse — real-time monitoring plus AI-drive···

★ 305 2026-08-09