llmware

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• Python 环境（项目开发语言为 Python）
• 支持 Windows、Mac、Linux 平台
• 本地运行 GGUF 量化模型建议至少 16 GB 内存
• 如需 mongo / milvus / postgres，需能运行仓库中的 docker-compose 脚本

安装与启动步骤

1. 1检查 Python 环境

   项目为 Python 框架，先确认本机已装 Python；本地跑量化小模型建议内存 16 GB 以上。

   python --version

   复制

2. 2克隆项目代码

   从 GitHub 克隆 llmware 仓库到本地，后续示例脚本与 docker-compose 脚本都在仓库内。

   git clone https://github.com/llmware-ai/llmware.git

   复制

3. 3进入项目目录

   切换到克隆下来的仓库目录，查看示例与配置脚本。

   cd llmware

   复制

4. 4安装项目依赖

   README 未给出 pip 安装命令与依赖清单，请按仓库实际文档（如 setup.py / pyproject）安装后再运行示例。

5. 5配置数据库

   快速起步用 sqlite + chromadb 无需额外安装；也可换成 faiss、lancedb 或 postgres。

   from llmware.configs import LLMWareConfig
   LLMWareConfig().set_active_db("sqlite")
   LLMWareConfig().set_vector_db("chromadb")

   复制

6. 6加载模型做推理

   用 Prompt().load_model 加载模型，再调用 prompt_main 提问并打印返回结果，模型名取 README 列表中的值。

   from llmware.prompts import Prompt
   prompter = Prompt().load_model("bling-phi-3-gguf")
   output = prompter.prompt_main("What is the capital of France?", prompt_name="default_with_context", temperature=0.30)
   print(output["llm_response"])
   print(output["usage"])

   复制

7. 7构建知识库

   创建 Library 并为其安装嵌入模型与向量库，即可把文档接入 RAG 流程。

   from llmware.library import Library
   lib = Library().create_new_library("my_library")
   lib.install_new_embedding(embedding_model_name="mini-lm-sbert", vector_db="milvus", batch_size=500)

   复制

8. 8接入外部数据库

   需要 mongo、milvus、postgres 时，使用仓库提供的 docker-compose 脚本启动对应服务。

关键配置

如何确认成功

运行 README 的 hello world 脚本后，终端打印出 LLM Response、Gold Answer 与 LLM Usage，即表示模型加载与推理成功。

常见问题

注意事项

• README 节选未包含 pip 安装命令与依赖清单，安装步骤请以仓库实际文档为准。
• 首次加载模型会从 HuggingFace 下载权重，注意网络连通性与磁盘空间。
• 框架支持 GGUF、OpenVINO、ONNXRuntime、WindowsLocalFoundry、Pytorch 等多种推理后端，可按目标平台选择。
• mongo / milvus / postgres 的部署方式 README 未给出具体命令，需参考仓库内 docker-compose 脚本与示例。