cpu-inference
本站收录 10 个带「cpu-inference」标签的 AI 开源项目
kimi-k3-in-ckimi-k3-in-c 是一个用纯 C99 语言实现的 Kimi K3 模型推理引擎，它声称能在单颗 CPU 上、仅用 8.24 GB 内存运行一个 2.78★ 10,684
MOSS-TTS-NanoMOSS-TTS-Nano 是 MOSI.AI 与 OpenMOSS 团队开源的多语言轻量级语音合成模型，参数量仅 0.1B，专为实时语音生成设计。它解决了传统★ 4,622
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 955
jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 945
vuiVui 是一个实时语音助手框架，基于 WebRTC 流式传输，集成了 faster-whisper 语音识别、本地 LLM（如 Qwen）和 Vui Nano ★ 776
janasjanas 是一个纯 C 编写的本地大模型推理引擎，核心目标是让超出内存容量的模型也能在普通笔记本上高效运行。它通过把权重放在 NVMe 存储上并按需流式加载，★ 630
eLLMeLLM 是一个用 Rust 编写的 CPU 推理引擎，目标是在长程（long-horizon）大模型推理任务上跑得比 GPU 还快。它针对的不是单次短问答，而★ 600
krasisKrasis 是一个混合 LLM 运行时，专注于在消费级显存受限的硬件上高效运行更大的模型。它通过将模型层智能卸载到 CPU/内存，并利用 GPU 加速关键计算★ 526
franken_ocrfranken_ocr 是一个用纯 Rust 实现的 CPU 端 OCR 推理引擎，目标模型是百度 Unlimited-OCR——一个基于 DeepSeek-O★ 345
qwen3-ttsqwen3-tts 是一个纯 C 语言实现的 Qwen3-TTS 文本转语音推理引擎，旨在摆脱 Python 和 PyTorch 的依赖，仅用 C 和 BLAS★ 133