catai

在 Node.js 里一键跑本地大模型，API 简单到飞起

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 40 🐛 待处理 2 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 498
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，本地部署，完全免费。

项目预览

catai 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队withcatai
官网地址https://withcatai.github.io/catai
GitHubhttps://github.com/withcatai/catai
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，本地部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,ai-assistant,catai,chatbot,chatgpt,chatui,dalai,ggmlv3,gguf,llama-cpp,llm,local-llm,localai,node-llama-cpp,nodejs,openai,vicuna,vicuna-installation-guide,wizardlm
GitHub 星标★ 498
上线时间2023-03-25 00:00:00
代码更新2025-11-16
仓库体积21.6 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

catai 是一个面向 Node.js 开发者的本地 AI 助手运行工具，旨在简化在本地环境中部署和调用大语言模型（LLM）的流程。它基于 llama-cpp 构建，支持 GGUF/GGML 模型格式，通过封装 node-llama-cpp 提供简洁的 API，让开发者无需深入底层 C++ 实现即可快速集成本地 AI 能力。项目解决了本地模型推理的复杂性问题，提供开箱即用的命令行工具和编程接口，支持流式输出、多模型管理等功能，适合需要离线、隐私安全或低成本 AI 方案的场景。目前项目处于早期阶段，星标数不高，但技术方向明确，专注于降低本地 AI 的使用门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 498

使用教程

难度：入门 约 20 分钟 部署方式：全局安装 4 步

环境要求

  • Node.js 18+
  • 本地量化模型文件

安装与启动步骤

  1. 1全局装

    一条命令装完。

    npm install -g catai

  2. 2跑本地模型

    它面向本地量化模型文件。

  3. 3把模型文件放进去

    首次运行会让你指定目录。

  4. 4按显存调上下文

    上下文开太大容易爆显存。

如何确认成功

加载一个本地模型文件后能正常对话，且关闭重开后历史会话仍在

注意事项

  • 它给本地量化模型套了一个聊天界面，全程不联网。
  • 适合笔记本上跑小模型。
  • 上下文长度与显存是硬约束，别贪大。
  • 首次运行要重新编译底层二进制，耗时较长。

核心亮点

  • 基于 llama-cpp，支持 GGUF/GGML 格式，兼容主流开源模型
  • API 设计简洁，几行代码即可调用本地 LLM，上手快
  • 提供命令行工具，无需写代码也能快速体验本地 AI

不足之处

  • 项目处于早期，文档和示例较少，社区生态待完善
  • 功能相对单一，主要聚焦推理，缺少训练或微调能力

适用场景

  • 本地开发环境快速测试 LLM 效果
  • 构建离线 AI 应用，保护数据隐私
  • 为 Node.js 服务集成低成本 AI 推理能力

替代项目

node-llama-cpp、llama-node、LocalAI

上一篇：ChatGPT-in-Slack

下一篇：obsidian-github-copilot

同类项目推荐

fishing-funds 开源

把基金股票行情塞进菜单栏，看一眼就知道涨跌

基金,大盘,股票,虚拟货币状态栏显示小应用

★ 1176 2026-08-09
vasisualy 开源

用俄语语音控制你的电脑和手机，开源免费可定制。

Vasisualy it's a simple Russian-language voice assistant written on Python for GNU/L···

★ 70 2026-08-09
os1 开源

自托管 AI 对话平台，连接多模型，数据自己掌控

the next-gen open source AI platform

★ 199 2026-08-09
GPT3-Chatbot 开源

用 Python 快速接入 GPT-3，搭建你的聊天机器人

A python code to interact with the GPT3 API to train the chatbot and use it.

★ 108 2026-08-09
sqlchat 开源

用聊天的方式查数据库，不懂 SQL 也能秒出结果

Chat-based SQL Client and Editor for the next decade

★ 5855 2026-08-09
ChatLLM-Web 开源

浏览器里跑大模型，隐私安全零服务器

Private local model studio, AI chat, and agent workspace powered by WebGPU and WebLL···

★ 641 2026-08-09
Facemoji 开源

让聊天机器人模仿你的表情，语音互动更有趣

A voice chatbot that can imitate your expression. OpenCV+Dlib+Live2D+Moments Recorde···

★ 456 2026-08-09
sample-app-aoai-chatGPT 开源

用Azure OpenAI快速搭建带自有数据的聊天界面

Sample code for a simple web chat experience through Azure OpenAI, including Azure O···

★ 1922 2026-10-17