项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 543
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- GPU 显存按量化档位准备
- vLLM 或 SGLang
安装与启动步骤
-
1先读发布说明
模型卡里写清了参数量、上下文长度和推荐推理框架。
-
2选推理框架
按说明用 vLLM 或 SGLang 起服务,别自己拼。
-
3拉权重
从 Hugging Face 取,注意分片与量化版本的区别。
-
4按显存选量化
全精度跑不动就换量化版本,别硬扛。
-
5跑智能体任务验证
它是面向 agent 场景调的,用工具调用类任务测才有意义。
如何确认成功
起服务后用工具调用类任务测一轮,多步工具链能走完且不出现明显的指令丢失
注意事项
- 仓库是模型发布页,权重在 Hugging Face,代码要按模型卡指的开源框架走。
- 它主打 agentic 能力,通用问答不是它的评估重点。
- 上下文长度与显存强相关,长上下文场景要提前算好。
- 开源许可条款要看清楚,商用前确认。
核心亮点
- 在代码生成和工具调用基准上达到 SOTA,适合真实开发任务
- 针对 agent 场景优化,函数调用和任务分解更稳定
- 提供完整推理代码和示例,上手门槛低
不足之处
- 文档/社区待观察
- 模型体积可能较大,部署成本需评估
适用场景
- 构建自动化编程助手,辅助代码编写与重构
- 开发企业级智能客服,需复杂多轮对话与知识库检索
- 搭建自主 agent 系统,执行多步骤任务并调用外部 API
替代项目
Qwen2.5、DeepSeek-V3、Llama 3.1
上一篇:awesome-llm-os
下一篇:VisualRWKV
同类项目推荐
BlossomLM
开源
开源对话模型+训练数据,一键复现你的专属AI助手
A powerful, open-source large language model, including the training data.
steerling
开源
让扩散语言模型边生成边给出可追溯的解释
Interpretable Causal Diffusion Language Models
awesome-LLM-game-agent-papers
开源
一网打尽LLM游戏智能体论文,快速定位研究方向
A Survey on Large Language Model-Based Game Agents (ACM CSUR)
LLaVA-OneVision-2
开源
开源多模态训练框架,自己也能训视觉语言模型
Fully Open Framework for Democratized Multimodal Training
llama.cpp-android-tutorial
开源
手把手教你在安卓手机跑大模型,零基础也能上手
llama.cpp tutorial on Android phone
StableDiffusion-PyTorch
开源
从零手写 Stable Diffusion,彻底搞懂扩散模型原理
This repo implements a Stable Diffusion model in PyTorch with all the essential comp···
mirai-s-ada
开源
12GB 显卡跑 27B 长上下文模型的调优方案
Mirai S (Qwen3.8-27B-S trellis GGUF) on a 12 GB RTX 4070: 262k q8_0 tiered cache, MT···
jev
开源
笔记本本地跑,秒回是或否
jevos: an open-source alternative to Jev and Microsoft-Decision-1. Yes/no decisions,···
Awesome-LLM-Ensemble
开源
一页看尽LLM集成研究,快速定位核心论文
A curated list of Awesome-LLM-Ensemble papers for the survey "Harnessing Multiple La···
