
Index-1.9B
19亿参数小模型,普通显卡也能跑多语言对话
Index-1.9B 是哔哩哔哩(Bilibili)开源的一系列轻量级多语言大语言模型,参数规模为 19 亿,包含基础模型 Index-1.9B、对话模型 Index-1.9B-Chat 以及角色扮演模型 Index-1.9B-Character。它主要解决在消费级显卡或边缘设备上部署大模型时显存不足、推理成本高的问题,让开发者能在有限算力下运行具备中英等多语言能力的对话与生成任务。核心能力包括:支持中英文及多语言文本生成、多轮对话、角色扮演,并提供量化版本和推理脚本,便于本地部署与二次微调。项目基于 Transformer 架构,使用大规模多语言语料训练,在保持较小体积的同时兼顾了通用问答与创作场景的可用性,适合作为轻量级 AI 应用的基础模型。
项目数据
使用教程
环境要求
- 已安装 Python 与 pip,可执行 pip install
- 可访问 GitHub(克隆仓库)与 Hugging Face(获取模型权重)的网络环境
- 足够的本地磁盘空间用于存放 1.9B 参数模型权重
- 建议具备可用于大模型推理的显卡环境(README 未明确说明硬件要求)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 Index-1.9B 源码到本地,这是后续安装依赖和运行脚本的基础。
git clone https://github.com/bilibili/Index-1.9B cd Index-1.9B -
2安装依赖
在项目根目录使用 requirements.txt 一次性安装运行所需的 Python 依赖包。
pip install -r requirements.txt -
3获取模型权重
从 Hugging Face 的 IndexTeam 仓库下载所需权重(如 Index-1.9B-Chat、Index-1.9B-Chat-GGUF)。README 未给出下载命令,请按对应仓库页面操作。
-
4启动 32K 长文本 Demo
README 明确指出 Index-1.9B-32K 只能用该脚本启动,其他方式均不支持,运行前请确保权重已就位。
python demo/cli_long_text_demo.py
如何确认成功
README 未给出明确的启动成功标志;只要上述命令执行无报错并正常进入脚本交互界面,即视为部署成功。
常见问题
Q:Index-1.9B-32K 能不能用别的方式启动?
A:不能。README 特别注明 Index-1.9B-32K 只能使用 demo/cli_long_text_demo.py 这一个工具启动。
Q:不想本地部署,能直接在线体验吗?
A:可以。官方在 Hugging Face Spaces 上提供了 Chat 和 Role-playing 两个在线 Demo,直接打开网页即可试用。
Q:支持 Ollama 和 llama.cpp 吗?
A:支持。项目已适配 llamacpp 和 Ollama,官方提供了 Index-1.9B-Chat-GGUF 量化权重,可在 Hugging Face 上获取。
Q:还有哪些可选的模型版本?
A:除基础的 Index-1.9B、对话模型和角色扮演模型外,还开源了 32K 长上下文版本和供研究使用的 Index-1.9B-Constant-LR 检查点。
注意事项
- Index-1.9B-32K 必须使用 demo/cli_long_text_demo.py 启动,这是 README 中的硬性说明。
- README 未提供模型权重的下载命令,需要自行前往 Hugging Face 的 IndexTeam 仓库获取。
- README 未给出基础模型与对话模型的具体启动命令,建议查看仓库内其他 demo 脚本后再运行。
- 安装依赖前请确认处于已 cd 进入的 Index-1.9B 项目根目录,否则 pip 找不到 requirements.txt。
核心亮点
- 参数仅1.9B,显存占用低,可在消费级显卡甚至CPU上推理
- 提供基础、对话、角色扮演三种版本,开箱即用
- 官方附带量化方案和部署示例,降低落地门槛
不足之处
- 模型规模小,复杂推理和知识问答能力弱于7B以上模型
- 社区生态和第三方工具适配相对有限
适用场景
- 本地部署轻量级多语言聊天机器人
- 边缘设备或低配服务器上的文本生成应用
- 角色扮演类对话产品的原型验证
替代项目
Qwen2.5-1.5B、Phi-3-mini
项目介绍
同类项目推荐
awesome-claude-fable-5-prompt-va···
开源
一站式掌握 Claude Fable 5 玩法,快速选型不踩坑
Ultimate Claude Fable 5 Guide 2026: Use Cases, Integrations & Benchmarks
Machine-Learning
开源
跟着博客笔记,边看边跑机器学习代码
All content related to machine learning from my blog
Diffusion-Models-Papers-Survey-T···
开源
学视频生成怕绕路?这份资料库帮你理清
Diffusion model papers, survey, and taxonomy
CoreML-Models
开源
下载即用的苹果端 AI 模型库,免去转换烦恼
Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···