
gemma4.java
纯 Java 跑 Gemma 4,不装 Python 也能本地推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 71
核心亮点
- 纯 Java 实现,零原生依赖,JVM 环境直接部署
- 借助 GraalVM 优化,CPU 推理性能有潜力
- 代码简洁,适合学习 LLM 推理核心逻辑
不足之处
- 早期项目,功能与稳定性待完善
- 仅支持 Gemma 4,模型兼容性有限
- 文档/社区待观察
适用场景
- Java 服务端集成本地 LLM 推理
- 教学演示 LLM 推理原理
- 受限环境(无 Python/C++ 运行时)下的模型部署
替代项目
llama.cpp、GGML、DJL (Deep Java Library)
上一篇:llama3.java
下一篇:ai-beehive
同类项目推荐
vllm-backport
开源
让旧显卡也能跑新版 vLLM 推理
Dogfooding vLLM backport for older GPUs.
google-cloud-gcp-openai-api
开源
一行配置,把谷歌大模型变成 OpenAI 接口,无缝切换。
Drop-in replacement REST API for Vertex AI (PaLM 2, Codey, Gemini) that is compatibl···
fuseml
开源
把散落的 AI 工具串成自动化流水线,减少集成折腾
FuseML aims to provide an MLOps framework as the medium dynamically integrating toge···
kontext-cli
开源
给AI智能体装上安全围栏,事前拦截危险操作,事后可追溯
Runtime security for AI agents: discover agents, map their permissions, and enforce ···
ThinkWatch
开源
给企业 AI 接入装上安全闸门,统一管控、审计、控费
Self-hosted AI API and MCP gateway for organizations: SSO and RBAC, per-user identit···
llm-d
开源
在 Kubernetes 上榨干 GPU,让 LLM 推理飞起来
State of the art inference performance with modern accelerators on Kubernetes
llmtrim
开源
本地压缩 LLM 请求,立省 31% 输入和 74% 输出成本
Local proxy that compresses your LLM API requests so you pay less, with no change to···
ML-Model-CI
开源
一键将训练好的模型自动优化并部署为高性能推理服务
MLModelCI is a complete MLOps platform for managing, converting, profiling, and depl···
opencode-llm-proxy
开源
本地一个代理,统一接入 OpenAI、Anthropic、Gemini 等大模型
Local OpenCode-backed LLM gateway for OpenAI, Anthropic, Gemini, and Responses API-c···