xgen

用 8k 长上下文,让模型读懂更长的文本

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 40 🐛 待处理 9 👀 关注 11
GitHub ↗
GitHub 星标 ★ 727
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可,可免费使用和部署。

项目预览

xgen 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队salesforce
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型language-model,large-language-models,llm,nlp
GitHub 星标★ 727
上线时间2023-06-23 00:00:00
代码更新2026-06-02
仓库体积34 KB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

xgen 是 Salesforce 开源的大语言模型项目,专注于提供长上下文(8k 序列长度)的 LLM。它解决了标准模型在长文本处理上的局限,使模型能够更有效地理解和生成更长篇幅的内容。项目基于 Python 构建,提供了模型权重、训练代码和推理示例,核心能力包括长序列建模、高效的注意力机制实现,以及针对特定领域(如代码生成)的优化。作为早期项目,它展示了 Salesforce 在开源 LLM 领域的技术积累,为研究者和开发者提供了一个可实验、可扩展的长上下文模型基座。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 727

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 40 分钟 部署方式:本地安装 4 步

环境要求

  • GPU 显存 24G 以上
  • Python 3.10+

安装与启动步骤

  1. 1克隆

    先拉代码。

    git clone https://github.com/salesforce/xgen.git
  2. 2装依赖

    补上分词器依赖。

    pip install tiktoken
  3. 3下权重

    按文档申请或下载对应规模权重。

    # 参考仓库的权重获取说明
  4. 4跑推理

    用示例脚本生成一段文本。

    # 运行仓库推理入口

如何确认成功

示例脚本能生成连贯文本,不报张量错误。

注意事项

  • 这是研究发布,不是产品化服务。
  • 权重许可要单独确认。

核心亮点

  • 原生支持 8k 序列长度,直接解决长文档处理痛点
  • 由 Salesforce 官方维护,代码质量与模型权重可信度高
  • 提供完整训练与推理脚本,上手门槛低

不足之处

  • 项目处于早期阶段,文档和社区生态尚不完善
  • 模型规模与性能对比主流 LLM(如 LLaMA)无明显优势

适用场景

  • 长文档摘要与问答
  • 代码生成与理解(长代码文件)
  • 学术研究中的长序列建模实验

替代项目

LLaMA、Falcon、Mistral

上一篇:LLM-Research

下一篇:BioReason

同类项目推荐

minimind-v 开源

2小时从零训练你自己的视觉多模态小模型

Train a 65M-parameter VLM from scratch in just 2h!

★ 8824 2026-08-09
BLIVA 开源

让AI看清图片里的文字,回答更准确

(AAAI 2024) BLIVA: A Simple Multimodal LLM for Better Handling of Text-rich Visual Q···

★ 260 2026-08-09
Awesome-AITools 开源

一个列表,网罗AI实用工具,省去全网搜索。

Collection of AI-related utilities. Welcome to submit pull requests /收藏AI相关的实用···

★ 6279 2026-08-09
RWKV-LM 开源

用 RNN 的速度跑出 GPT 的效果,长上下文不再烧显存

RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be dir···

★ 14772 2026-08-09
ContextDiff 开源

让AI画图/视频更懂你的文字,语义对齐更精准

[ICLR 2024] Contextualized Diffusion Models for Text-Guided Image and Video Generati···

★ 73 2026-08-09
state-of-open-source-ai 开源

一张图看清开源AI版图,快速把握技术趋势。

:closed_book: Clarity in the current fast-paced mess of Open Source innovation

★ 1641 2026-08-09
consistency_flow_matching 开源

让生成模型采样更直更快,几步出好图

Official Implementation for "Consistency Flow Matching: Defining Straight Flows with···

★ 273 2026-08-09
iris-3b 开源

一个模型直接生成像素,还能测深度、修图。

Iris-3B: pixel-space generation & general vision learner. A 3B diffusion transformer···

★ 223 2026-10-14
MiniMax-M2 开源

写代码、跑智能体,一个模型全搞定

MiniMax-M2, a model built for Max coding & agentic workflows.

★ 2604 2026-08-09