llamafarm

几分钟部署任意 AI 模型到本地或云端

开源 🏷️定价信息待确认 ✅ 目前可打开 对话助手 🍴 复刻 59 🐛 待处理 59 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 837
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

llamafarm 项目界面预览图
图片来源：项目官网

项目数据

分类对话助手
开发团队llama-farm
官网地址https://llamafarm.dev
GitHubhttps://github.com/llama-farm/llamafarm
定价模式🏷️定价信息待确认
价格说明官网存在但定价信息不明确，需进一步确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,aiproject,chatgpt,claude,edge,edge-computing,finetuning-llms,gemma,grok,llama3,llama4,mistral,mlops,models,openai,prompt-engineering,qwen,rag,sora
GitHub 星标★ 837
上线时间2025-07-09 00:00:00
代码更新2026-06-10
仓库体积159.4 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

llamafarm 是一个面向 AI 应用的一站式部署工具，旨在让用户能够在几分钟内将任意 AI 模型、智能体、数据库、RAG 流水线等部署到本地或远程环境。它通过简化配置和自动化流程，解决了 AI 项目从开发到生产环境部署的复杂性问题。核心能力包括：支持多种主流模型（如 Llama、Mistral、Gemma、Grok 等）的快速部署，提供边缘计算支持，内置模型微调（finetuning）工具，以及与 OpenAI 等 API 的兼容接口。用户可以通过命令行或配置文件定义部署拓扑，实现一键启动。项目处于早期阶段，但已具备基本的 MLOps 功能，适合个人开发者和小团队快速验证 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 837

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶 约 30 分钟 部署方式：本地安装 4 步

环境要求

  • Node.js 20+
  • Python 3.10+
  • Go 1.22+

安装与启动步骤

  1. 1克隆

    本地优先的数据与模型管理平台。

    git clone https://github.com/llama-farm/llamafarm.git
cd llamafarm

  2. 2装 CLI

    用 nx 管工作区，先装全局。

    npm install -g nx
npm install

  3. 3灌数据集

    把 PDF 之类直接上传，自动处理。

    lf datasets upload research ./papers/*.pdf

  4. 4起服务并测

    后端 Python 测试、CLI 用 Go 测试。

    cd server && uv sync && uv run --group test python -m pytest
cd cli && go test ./...

如何确认成功

上传的文档能在查询里被检索到，测试全绿。

注意事项

  • 它想做成「本地版的模型与数据工作台」。
  • 上传大文件注意磁盘与索引时间。
  • 三个语言栈并存，环境要分别装。

核心亮点

  • 支持模型、智能体、数据库、RAG 等多种组件的一体化部署，覆盖 AI 应用全链路
  • 兼容 OpenAI API，可无缝替换现有 AI 服务，降低迁移成本
  • 内置边缘计算和微调支持，适合在资源受限环境快速实验

不足之处

  • 项目早期，文档和社区生态尚不完善，遇到问题可参考资源较少
  • 功能覆盖广但深度有限，复杂生产环境下的稳定性待验证

适用场景

  • 个人开发者快速搭建本地 AI 原型环境
  • 边缘设备上部署轻量级模型推理服务
  • 小团队内部搭建统一的模型部署平台

替代项目

Ollama、vLLM、Dify

上一篇：myriade

下一篇：ai00_server

同类项目推荐

agent-trace 开源

给 AI 智能体装上监控，看清每一步动作和花费

Local evidence and replay for coding agents: replay what happened, see what the trac···

★ 102 2026-08-09
sd4j 开源

Java 里跑 Stable Diffusion，无需 Python，直接集成图像生成

Stable diffusion pipeline in Java using ONNX Runtime

★ 181 2026-08-09
vektori 开源

让 AI 代理记住完整故事，而非零散事实

Memory that remembers the story not just the facts. File System Memory and Three lay···

★ 138 2026-08-09
lzy 开源

一套工作流，本地远程无缝跑，算力随便用

Platform for a hybrid execution of ML workflows that transparently integrates local ···

★ 73 2026-08-09
MLOps 开源

跟着示例，快速上手机器学习运维全流程

MLOps examples

★ 2121 2026-08-09
metabase 开源

让不懂 SQL 的同事也能轻松做数据分析，五分钟搭建团队 BI 看板

The easy-to-use open source Business Intelligence and Embedded Analytics tool that l···

★ 50260 2026-08-29
mesh-api 开源

让 LoRa 设备接入 AI 和 API，无网也能智能通信

MESH-API — Off-Grid AI & API Router & with MCP server & over 30 API extensions for···

★ 186 2026-08-09
ESP32s3-LLM-Cluster 开源

7块ESP32-S3串成链，跑起0.4B三值量化大模型

7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantizatio···

★ 259 2026-10-31
ollamafreeapi 开源

不装显卡不填Key，直接调用50+开源大模型

OllamaFreeAPI: Free Distributed API for Ollama LLMs Public gateway to our managed O···

★ 339 2026-10-15