llama3.java

纯 Java 跑 Llama 3,不装 Python 也能本地推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 95 🐛 待处理 18 👀 关注 26
GitHub ↗
GitHub 星标 ★ 819
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

llama3.java 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队mukel
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Java
技术栈/模型chatgpt,genai,gguf,huggingface,java,llama,llama3,llamacpp,llm,llm-inference,llms,openai,simd,transformers
GitHub 星标★ 819
上线时间2024-04-25 00:00:00
代码更新2026-04-24
仓库体积150 KB
本站数据更新2026-11-19
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

llama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库,无需依赖 C/C++ 或 Python 环境,即可在 JVM 上直接加载 GGUF 格式模型并执行生成任务。它解决了 Java 生态中缺乏高性能原生 LLM 推理方案的问题,让 Java 开发者能无缝集成本地或私有的 LLM 能力。核心能力包括:支持 GGUF 模型加载、SIMD 加速(利用 CPU 指令集优化)、与 OpenAI 兼容的 API 接口,以及基于 Transformers 的模型转换工具。项目处于早期阶段,但已具备基本的文本生成功能,适合作为 Java 环境下的轻量级推理引擎,用于构建离线聊天机器人、智能文档处理或边缘设备上的 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 819

使用教程

难度:进阶 约 15 分钟 部署方式:本地安装 4 步

环境要求

  • JDK 21+
  • jbang
  • gguf 模型文件

安装与启动步骤

  1. 1装 JDK

    单文件实现,需要 Java 21 以上。

    java -version
  2. 2装 jbang

    用它直接跑单文件 Java 程序。

    curl -Ls https://sh.jbang.dev | bash -s - app setup
  3. 3拉 gguf 模型

    Llama 3/3.1/3.2 的量化版都能用。

    ls *.gguf
  4. 4跑起来

    jbang 直接执行,参数与 llama.cpp 类似。

    jbang Llama3.java --help

如何确认成功

能加载模型并流式输出回答。

注意事项

  • 它是把推理写进一个 Java 文件的教学项目,不是高性能方案。
  • 量化用配套工具:./llama-quantize 转 Q4_0。
  • 适合在纯 Java 环境里做离线demo。

核心亮点

  • 纯 Java 实现,零原生依赖,部署简单,适合 JVM 技术栈团队
  • 内置 SIMD 优化,在 CPU 上推理性能优于纯解释型方案
  • 兼容 GGUF 格式,可直接使用 HuggingFace 上的主流量化模型

不足之处

  • 项目早期,功能稳定性与生态成熟度待验证
  • 文档/社区待观察

适用场景

  • Java 后端服务中嵌入本地 LLM 推理,避免外部 API 调用
  • 离线环境下的智能客服或文档摘要工具
  • 教学或研究场景,用于理解 Transformer 推理的 Java 实现

替代项目

llama.cpp、LangChain4j、DJL (Deep Java Library)

上一篇:token-limit

下一篇:gemma4.java

同类项目推荐

mloda 开源

插件化数据访问,让 AI 应用轻松获取可追溯的数据上下文。

mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···

★ 100 2026-08-09
SparkDiffusion 开源

多技术叠加让 DiT 视频生成提速 265 倍

SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···

★ 731 2026-10-09
datapizza-ai 开源

快速搭建可靠生成式 AI 应用,省去基础设施烦恼。

Build reliable Gen AI solutions without overhead

★ 2245 2026-08-09
zvec 开源

把向量检索嵌进进程,毫秒级响应,部署零负担

A lightweight, lightning-fast, in-process vector database

★ 16263 2026-08-09
vane 开源

一个引擎原生跑多模态 AI 推理

High performance, multimodal-native engine for AI workloads.

★ 150 2026-11-15
morphik-core 开源

一键摄取多模态数据,快速搭建企业级 RAG 检索应用

Open-source multimodal retrieval engine (Morphik Core)

★ 3722 2026-08-09
m365-copilot-proxy 开源

把已有 M365 Copilot 授权变成 OpenAI 兼容接口

OpenAI-compatible proxy for Microsoft 365 Copilot — use the Copilot licence you alr···

★ 181 2026-11-06
agentops 开源

给 AI 智能体装上监控仪表盘,实时追踪成本与性能

Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integ···

★ 5963 2026-08-09
mlreef 开源

一站式 ML 协作平台,让团队高效管理代码、数据与实验。

The collaboration workspace for Machine Learning

★ 1462 2026-08-09