kalosm

环境要求

• 已安装 Rust 工具链（cargo、rustc），安装方式见 https://rustup.rs/
• 需要联网，首次运行会自动下载所用模型权重
• 建议在 release 模式下编译运行以获得可用速度
• 一个可创建并编辑文件的终端环境

安装与启动步骤

1. 1安装 Rust 工具链

   访问 https://rustup.rs/ 按官方指引安装 Rust，安装完成后确认 cargo 命令可用。README 未给出具体安装命令。

2. 2新建 Rust 项目

   用 cargo 创建名为 kalosm-hello-world 的新二进制项目，并进入该目录准备后续修改。

   cargo new kalosm-hello-world
   cd ./kalosm-hello-world

   复制

3. 3添加依赖

   通过 cargo add 把 kalosm（启用 llama feature）和 tokio（启用 full feature）加入 Cargo.toml 依赖。

   cargo add kalosm --features llama
   cargo add tokio --features full

   复制

4. 4写入示例代码

   把 README 的聊天机器人示例写入 src/main.rs，使用 Llama::phi_3() 加载模型并进入循环对话。

   use kalosm::language::*;
   
   #[tokio::main]
   async fn main() -> Result<(), Box<dyn std::error::Error>> {
     let model = Llama::phi_3().await?;
     let mut chat = model.chat()
       .with_system_prompt("You are a pirate called Blackbeard");
   
     loop {
       chat(&prompt_input("\n> ")?)
         .to_std_out()
         .await?;
     }
   }

   复制

5. 5编译并运行

   在项目目录执行 release 模式运行，首次会下载模型，随后可在终端中与聊天机器人对话。

   cargo run --release

   复制

如何确认成功

终端出现 "> " 输入提示符，输入内容后能看到模型流式输出回复，即表示运行成功。

常见问题

注意事项

• 示例默认使用 Llama::phi_3()，README 未说明其具体大小与硬件要求，请留意磁盘与内存占用。
• 除 llama 外还有其他 feature 与模型支持，README 的模型表格列出了当前支持的模型。
• 所有命令均来自 README 的 Quickstart，未在 README 中出现的参数请勿自行添加。