magicoder

用开源代码自动合成指令数据，低成本训练出更强代码模型

Magicoder 是一个面向代码生成任务的开源大语言模型系列，核心创新在于提出 OSS-Instruct 数据合成方法。它通过从开源代码片段中提取灵感，自动生成高质量的指令-代码对，从而以较低成本构建大规模训练数据，显著提升模型在代码生成、补全、解释等任务上的表现。项目解决了高质量代码指令数据稀缺、人工标注昂贵的问题，使模型能够学习到多样化的编程风格和逻辑。其基础模型基于 CodeLlama 等开源底座进行微调，支持多种编程语言，在 HumanEval、MBPP 等基准上表现出色，甚至能超越部分更大规模的模型。项目提供了完整的训练、推理和评估代码，以及模型权重，便于研究者和开发者复现和二次开发。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2095

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队ise-uiuc

所属国家

官网地址https://proceedings.mlr.press/v235/wei24h.html

GitHubhttps://github.com/ise-uiuc/magicoder

定价模式free

价格说明开源模型，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai4code,large-language-models,llm,llm4code

GitHub 星标★ 2095

30天Star增速

HF 下载量

上线时间2023-11-10 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 15 分钟部署方式：模型权重 4 步

环境要求

Python 环境（README 示例为 Python 代码）
已安装 transformers 与 torch（示例中 import pipeline、torch）
具备 CUDA 的 NVIDIA GPU，示例使用 device_map="auto" 与 bfloat16
可访问 Hugging Face 以下载 ise-uiuc/Magicoder-S-DS-6.7B 权重

安装与启动步骤

1准备运行环境

确保 Python 环境可用，并已安装 transformers 和 torch；建议使用带 CUDA 的 GPU 环境，避免 CPU 推理过慢。
2编写推理脚本

参照 README Quick Start 编写脚本：定义 MAGICODER_PROMPT 模板，把 instruction 换成你的需求。
3加载模型并推理

运行脚本，首次执行会自动从 Hugging Face 下载 ise-uiuc/Magicoder-S-DS-6.7B 权重。
```
python magicoder_demo.py
```
4查看生成结果

脚本打印 result[0]["generated_text"]，即模型按 @@ Response 格式返回的代码与说明。

关键配置

配置项	必填	说明	示例
`model`	是	Hugging Face 上的模型 ID	`ise-uiuc/Magicoder-S-DS-6.7B`
`task`	是	pipeline 任务类型	`text-generation`
`torch_dtype`	否	推理权重数据类型，降低显存占用	`torch.bfloat16`
`device_map`	否	自动把模型分配到可用设备	`auto`
`max_length`	否	生成文本的最大长度	`2048`
`temperature`	否	采样温度，0.0 表示确定性输出	`0.0`

如何确认成功

终端输出 generated_text，内容为针对 instruction 生成的 Python 代码实现与解释文字。

常见问题

Q：需要多大显存？

A：README 未给出具体显存要求。示例加载 6.7B 模型并使用 bfloat16，显存需能容纳该规模权重，device_map="auto" 会自动分配。

Q：首次运行卡住很久是为什么？

A：需要从 Hugging Face 下载模型权重，文件较大。网络受限时可配置 Hugging Face 镜像或提前手动下载缓存。

Q：可以换成别的 Magicoder 模型吗？

A：可以，把 model 参数改成 Hugging Face 上 ise-uiuc 组织下的其他 Magicoder 模型 ID 即可。

Q：输出每次都不一样怎么办？

A：示例中 temperature=0.0，已尽量降低随机性；如需多样性可调高 temperature 或增加 num_return_sequences。

注意事项

README 只提供了推理 Quick Start，训练与评估的安装命令未在节选中给出。
首次运行需联网下载模型权重，请预留磁盘空间与下载时间。
bfloat16 需要较新的 GPU 架构支持，老显卡可改用其他精度。
instruction 过长时要留意 max_length 限制，避免响应被截断。

核心亮点

OSS-Instruct 方法新颖，能自动从开源代码生成高质量指令数据，降低数据构建成本
在 HumanEval 等代码生成基准上达到当时领先水平，超越同规模模型
提供完整训练、推理代码和模型权重，复现门槛低

不足之处

模型规模相对较小，复杂任务能力不如超大模型
文档/社区待观察

适用场景

研究代码生成模型的数据合成方法
构建定制化代码助手或自动编程工具
在资源受限环境下训练代码大模型

替代项目

CodeLlama、DeepSeek-Coder、StarCoder

项目介绍

magicoder 是开源模型领域的开源项目，由 ise-uiuc 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,095）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：研究代码生成模型的数据合成方法。同类可对比的替代方案包括 CodeLlama、DeepSeek-Coder、StarCoder。

上一篇：MoBA

下一篇：Awesome-Efficient-LLM