
llama3.java
纯 Java 跑 Llama 3,不装 Python 也能本地推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 819
技术标签
使用教程
环境要求
- JDK 21+
- jbang
- gguf 模型文件
安装与启动步骤
-
1装 JDK
单文件实现,需要 Java 21 以上。
java -version -
2装 jbang
用它直接跑单文件 Java 程序。
curl -Ls https://sh.jbang.dev | bash -s - app setup -
3拉 gguf 模型
Llama 3/3.1/3.2 的量化版都能用。
ls *.gguf -
4跑起来
jbang 直接执行,参数与 llama.cpp 类似。
jbang Llama3.java --help
如何确认成功
能加载模型并流式输出回答。
注意事项
- 它是把推理写进一个 Java 文件的教学项目,不是高性能方案。
- 量化用配套工具:./llama-quantize 转 Q4_0。
- 适合在纯 Java 环境里做离线demo。
核心亮点
- 纯 Java 实现,零原生依赖,部署简单,适合 JVM 技术栈团队
- 内置 SIMD 优化,在 CPU 上推理性能优于纯解释型方案
- 兼容 GGUF 格式,可直接使用 HuggingFace 上的主流量化模型
不足之处
- 项目早期,功能稳定性与生态成熟度待验证
- 文档/社区待观察
适用场景
- Java 后端服务中嵌入本地 LLM 推理,避免外部 API 调用
- 离线环境下的智能客服或文档摘要工具
- 教学或研究场景,用于理解 Transformer 推理的 Java 实现
替代项目
llama.cpp、LangChain4j、DJL (Deep Java Library)
上一篇:token-limit
下一篇:gemma4.java
同类项目推荐
mloda
开源
插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。
mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···
SparkDiffusion
开源
多技术叠加让 DiT 视频生成提速 265 倍
SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···
datapizza-ai
开源
快速搭建可靠生成式 AI 应用,省去基础设施烦恼。
Build reliable Gen AI solutions without overhead
zvec
开源
把向量检索嵌进进程,毫秒级响应,部署零负担
A lightweight, lightning-fast, in-process vector database
vane
开源
一个引擎原生跑多模态 AI 推理
High performance, multimodal-native engine for AI workloads.
morphik-core
开源
一键摄取多模态数据,快速搭建企业级 RAG 检索应用
Open-source multimodal retrieval engine (Morphik Core)
m365-copilot-proxy
开源
把已有 M365 Copilot 授权变成 OpenAI 兼容接口
OpenAI-compatible proxy for Microsoft 365 Copilot — use the Copilot licence you alr···
agentops
开源
给 AI 智能体装上监控仪表盘,实时追踪成本与性能
Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integ···
mlreef
开源
一站式 ML 协作平台,让团队高效管理代码、数据与实验。
The collaboration workspace for Machine Learning