项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2648
技术标签
使用教程
环境要求
- Python >= 3.10, < 3.13
- OpenAI API Key(OPENAI_API_KEY)
- Anthropic API Key(ANTHROPIC_API_KEY)
- 一份表格数据集(Parquet、CSV、ORC 或 Avro)
- 可选:Docker(使用官方镜像时,已内置 PySpark、Java 等依赖)
安装与启动步骤
-
1安装 plexe
使用 pip 安装核心包,默认包含 XGBoost、Keras、scikit-learn。可按需追加可选项。
pip install plexe -
2安装可选依赖
按框架或任务追加安装,如 tabular(CatBoost+LightGBM)、pyspark、aws 等,按需选择。
pip install "plexe[tabular,pyspark]" -
3配置 API 密钥
导出两个模型服务的密钥作为环境变量,脚本运行时会读取,缺失会无法调用 LLM。
export OPENAI_API_KEY=sk-xxxxxxxx export ANTHROPIC_API_KEY=sk-ant-xxxxxxxx -
4准备数据集
准备一份表格数据文件,支持 Parquet、CSV、ORC、Avro,例如放在当前目录的 data.parquet。
-
5命令行生成模型
用自然语言描述意图并指定训练数据,max-iterations 控制搜索迭代轮数,数值越大耗时越长。
python -m plexe.main \ --train-dataset-uri data.parquet \ --intent "predict whether a passenger was transported" \ --max-iterations 5 -
6用 Python API 调用
适合集成到自己的脚本中,main 返回最佳方案、指标与报告三部分结果。
from plexe.main import main from pathlib import Path best_solution, metrics, report = main( intent="predict whether a passenger was transported", data_refs=["train.parquet"], max_iterations=5, work_dir=Path("./workdir"), ) print(f"Performance: {best_solution.performance:.4f}") -
7用 Docker 运行
官方镜像已预装 PySpark、Java 等依赖,挂载 data 与 workdir 目录并传入密钥即可。
docker run --rm \ -e OPENAI_API_KEY=$OPENAI_API_KEY \ -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \ -v $(pwd)/data:/data -v $(pwd)/workdir:/workdir \ plexe:py3.12 python -m plexe.main \ --train-dataset-uri /data/dataset.parquet \ --intent "predict customer churn" \ --work-dir /workdir \ --spark-mode local
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | OpenAI 模型调用密钥,plexe 智能体依赖它 | sk-xxxxxxxx |
ANTHROPIC_API_KEY | 是 | Anthropic 模型调用密钥,与 OpenAI 密钥配合使用 | sk-ant-xxxxxxxx |
config.yaml | 否 | 项目根目录的配置文件,可自定义 LLM 路由、搜索参数、Spark 设置 | config.yaml |
如何确认成功
命令正常结束后会返回最佳方案与指标,并打印 Performance 数值;同时 work_dir 下会生成建模产物。
常见问题
Q:必须同时配置两个 API Key 吗?
A:README 的安装示例中同时导出了 OPENAI_API_KEY 和 ANTHROPIC_API_KEY,建议两个都配置,避免智能体调用模型时失败。
Q:支持哪些数据格式?
A:支持表格型数据集,格式包括 Parquet、CSV、ORC 和 Avro,通过 --train-dataset-uri 指定文件路径即可。
Q:需要自己写预处理和调参代码吗?
A:不需要。plexe 会根据自然语言意图自动分析数据、确定任务类型与评估指标、搜索最佳模型并完成训练。
Q:Docker 方式有什么好处?
A:官方镜像已内置 PySpark、Java 和全部依赖,省去本地环境配置;还提供 Databricks Connect 镜像构建目标。
Q:运行太慢怎么调整?
A:可减小 --max-iterations 的值来加快速度,README 中 Makefile 的 test-quick 目标就是约 1 次迭代的快速检查。
注意事项
- Python 版本必须满足 >= 3.10 且 < 3.13,版本不符会安装失败。
- 不安装任何 extras 时只有核心依赖(XGBoost、Keras、scikit-learn),需要 CatBoost、LightGBM、PyTorch、PySpark、AWS 支持时请显式安装对应 extras。
- Docker 运行时需挂载数据目录和 workdir,项目根目录的 config.yaml 会被自动挂载。
- plexe 也提供托管云服务(plexe.ai),不想本地部署可以直接使用。
核心亮点
- 自然语言驱动,无需手写模型代码,上手极快
- 自动处理数据预处理、训练和评估,简化全流程
- 支持多种模型类型,可灵活适配不同任务
不足之处
- 文档/社区待观察
- 复杂定制场景下灵活性可能受限
适用场景
- 快速原型验证,用自然语言描述需求即可生成模型
- 自动化机器学习流水线,集成到现有开发流程
- 教学演示,帮助初学者理解模型构建过程
替代项目
AutoML、H2O.ai、PyCaret
上一篇:neptune-client
下一篇:sklearn-diagnose
同类项目推荐
gflownet
开源
按奖励比例采样多样化候选解的生成模型框架
Generative Flow Networks - GFlowNet
terratorch
开源
一键微调遥感大模型,快速落地地理空间AI应用
A Python toolkit for fine-tuning Geospatial Foundation Models (GFMs).
Merge-Stable-Diffusion-models-wi···
开源
不训练,无损合并多个Stable Diffusion模型,统一风格与能力。
Adaptation of the merging method described in the paper - Git Re-Basin: Merging Mode···
rapidfireai
开源
拖拽式搞定 AI 定制,从 RAG 到微调一键加速
RapidFire AI: Rapid AI Customization from RAG to Fine-Tuning
opacus
开源
几行代码给 PyTorch 训练加差分隐私,防数据泄露
Training PyTorch models with differential privacy
mlx-tune
开源
在 Mac 上本地微调大模型,多模态全支持,速度飞快
Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Emb···
datablations
开源
数据不够时,教你如何最优训练大模型
Scaling Data-Constrained Language Models
ao
开源
PyTorch 原生量化,训练推理一起提速省显存
PyTorch native quantization for training and inference
nano-world-model
开源
用扩散强制训练世界模型,让机器人看懂视频并规划动作。
A Minimalist, Batteries-included Repository for Advancing World Model Science.
