NeoHorse

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 本地磁盘已下载 NeoHorse-1-4B 或 NeoHorse-1-9B 权重（含 config.json、tokenizer 文件与权重）
• Python 运行环境（原生 Python 运行时、vLLM 或 SGLang 任选其一）
• 能访问 Hugging Face 或 ModelScope 的 TokenRhythm 组织页面获取模型

安装与启动步骤

1. 1获取项目与模型

   克隆 NeoHorse 仓库到本地，并从 Hugging Face 或 ModelScope 的 TokenRhythm 组织下载 NeoHorse-1-4B/9B 权重到本地磁盘。

   git clone https://github.com/TokenRhythm/NeoHorse.git

   复制

2. 2设置模型路径

   把 MODEL_PATH 设成存放 config.json、tokenizer 文件与权重的那一级目录，而不是模型别名。

   export MODEL_PATH=/your/path/NeoHorse-1-4B

   复制

3. 3选择部署方式

   README 给出的推理路径有 vLLM、SGLang 与原生 Python 运行时三种；NeoHorse-Jev-4B 请按其部署指南操作。

4. 4启动推理服务

   按所选框架的启动方式加载 MODEL_PATH 下的权重，对外暴露服务，并记住服务别名。

5. 5用别名请求验证

   请求体中的 model 字段填服务别名 neohorse-1-4B 或 neohorse-1-9B，不能填文件系统路径。

关键配置

如何确认成功

服务启动后，用别名 neohorse-1-4B 或 neohorse-1-9B 发起请求并成功返回模型输出，即部署成功。

常见问题

注意事项

• README 节选未给出具体安装命令、端口与依赖版本，实际部署需参考 vLLM/SGLang 官方文档与 jev/README.md#deployment。
• 本页示例针对 NeoHorse-1-4B 与 NeoHorse-1-9B，NeoHorse-Jev-4B 的用法不同，不要混用。
• 模型权重可从 Hugging Face 或 ModelScope 的 TokenRhythm 组织页面获取，需先下载到本地磁盘。
• 项目采用 Apache-2.0 许可。