llama3.java

纯 Java 跑 Llama 3，不装 Python 也能本地推理

llama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Python 环境，即可在 JVM 上直接加载 GGUF 格式模型并执行生成任务。它解决了 Java 生态中缺乏高性能原生 LLM 推理方案的问题，让 Java 开发者能无缝集成本地或私有的 LLM 能力。核心能力包括：支持 GGUF 模型加载、SIMD 加速（利用 CPU 指令集优化）、与 OpenAI 兼容的 API 接口，以及基于 Transformers 的模型转换工具。项目处于早期阶段，但已具备基本的文本生成功能，适合作为 Java 环境下的轻量级推理引擎，用于构建离线聊天机器人、智能文档处理或边缘设备上的 AI 应用。