LLamaSharp

环境要求

• 已安装 .NET 开发环境与 Visual Studio（可使用 NuGet 包管理器控制台）
• 目标平台为 Windows、Linux 或 macOS
• 如需 GPU 加速，本机需安装与后端包匹配的 CUDA 11 / CUDA 12，或支持 Vulkan / Metal 的显卡
• 已准备好 GGUF 等格式的模型权重文件（README 中未给出具体下载来源）

安装与启动步骤

1. 1安装 LLamaSharp 主包

   在 Visual Studio 的 NuGet 包管理器控制台中执行，安装 LLamaSharp 核心库。也可在 NuGet 页面搜索同名包安装。

   Install-Package LLamaSharp

   复制

2. 2安装 CPU 后端包

   LLamaSharp 通过 llama.cpp 编译的原生后端库运行。CPU 后端支持 Windows、Linux、macOS，macOS 上还可用 Metal。

   Install-Package LLamaSharp.Backend.Cpu

   复制

3. 3按显卡安装 GPU 后端

   若需 GPU 加速，按本机 CUDA 版本选装 Cuda11 或 Cuda12（Windows/Linux），或安装 Vulkan 后端，可与 CPU 后端共存。

   Install-Package LLamaSharp.Backend.Cuda12

   复制

4. 4开启原生库加载日志

   在代码最前面加上日志回调，可打印实际加载的原生库文件，用于排查 GPU 未被使用的问题。

   NativeLibraryConfig.All.WithLogCallback(delegate (LLamaLogLevel level, string message) { Console.Write($"{level}: {message}"); } )

   复制

5. 5参照官方快速上手文档

   按照官网 Quick start 与 Tutorial 完成模型加载和推理调用；仓库中另有 Console Demo 可直接体验对话效果。

关键配置

如何确认成功

运行程序后查看日志回调输出，确认加载的是预期的原生库文件（如 CUDA 库而非 CPU 库）且 GpuLayerCount 大于 0。

常见问题

注意事项

• LLamaSharp 是库/依赖形式，不是独立的聊天程序，需要在你自己的 .NET 应用中调用 API。
• 后端包必须与目标平台和 CUDA 版本匹配，README 未提及的后端组合需自行编译。
• 详细安装、模型加载与参数说明请以官网 Quick start、FAQ 和 Tutorial 文档为准。