YiVal

自动优化提示词，让 AI 输出更稳定更优质

YiVal 是一个面向生成式 AI 应用的自动提示词工程助手。它解决了提示词调试耗时、效果不稳定、难以量化评估的问题。核心能力包括：自动生成和优化提示词变体、支持多种评估指标（如文本相似度、LLM 评分）、内置丰富的实验管理功能，可对比不同提示词和模型配置的效果，并支持与主流 LLM 和图像生成 API 集成。通过自动化实验，帮助开发者快速找到最优提示词，提升应用输出质量。

开源 unknown 图像生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2135

维护状态低维护

是否开源是

定价模式 unknown

项目数据

分类图像生成

开发团队YiVal

所属国家

官网地址https://yival.io

GitHubhttps://github.com/YiVal/YiVal

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ai,ai-experiments,ai-toolkit,aigc,api,auto-prompting,autogpt,fine-tuning,framework,generative-ai,gpt4,llm,midjourney,prompt,prompt-engineering,prompt-tuning,promptengineering,python,stable-diffusion

GitHub 星标★ 2135

30天Star增速

HF 下载量

上线时间2023-07-15 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数7

使用教程

难度：入门约 20 分钟部署方式：本地安装 7 步

环境要求

已安装 Poetry（用于创建虚拟环境并安装依赖）
Python 环境（依赖由 Poetry 自动管理）
可用的 OpenAI API Key，示例配置使用 gpt-4 模型
能访问 GitHub 拉取源码（或使用 CodeSpace）
可选：已安装 Docker，可直接拉取官方镜像运行

安装与启动步骤

1安装 Poetry

按 Poetry 官方文档安装并确认 poetry 命令可用，这是后续依赖安装的前提。
2克隆代码仓库

把 YiVal 源码下载到本地并进入仓库目录，也可以改用 GitHub CodeSpace 跳过此步。
```
git clone https://github.com/YiVal/YiVal.git
cd YiVal
```
3安装项目依赖

在 /YiVal 目录下执行，Poetry 会创建虚拟环境并同步安装全部依赖。
```
poetry install --sync
```
4进入源码目录

后续配置文件和运行命令都在这个目录下执行。
```
cd /YiVal/src/yival
```
5配置 API 密钥

把 sk-xxxxxxxx 换成你自己的 OpenAI API Key，通过环境变量注入。
```
export OPENAI_API_KEY=sk-xxxxxxxx
```

6编写配置文件

在当前目录新建 config_data_generation.yml，用来自动生成测试数据集。

description: Generate test data
dataset:
  data_generators:
    openai_prompt_data_generator:
      chunk_size: 100000
      diversify: true
      model_name: gpt-4
      input_function:
        description: # Description of the function
          Given a tech startup business, generate a corresponding landing
          page headline
        name: headline_generation_for_business
        parameters:
          tech_startup_business: str # Parameter name and type
      number_of_examples: 3
      output_csv_path: generated_examples.csv
  source_type: machine_generated

7运行 YiVal

在 /YiVal/src/yival 目录下执行，按配置自动生成测试数据。
```
yival run config_data_generation.yml
```

关键配置

配置项	必填	说明	示例
`OPENAI_API_KEY`	是	OpenAI 调用密钥，通过环境变量导出供 YiVal 使用	`sk-xxxxxxxx`
`model_name`	是	数据生成使用的模型名称	`gpt-4`
`number_of_examples`	是	生成的样本数量	`3`
`output_csv_path`	是	生成数据集的输出 CSV 路径	`generated_examples.csv`
`source_type`	是	数据集来源类型，机器生成时为 machine_generated	`machine_generated`
`diversify`	否	是否对生成样本做多样化处理	`true`

如何确认成功

命令执行结束后，在 /YiVal/src/yival/ 目录下会生成 generated_examples.csv 文件，打开可看到生成的样本数据。

常见问题

Q：Windows 上如何设置 API Key？

A：README 给出的是 powershell 命令：setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY，把其中的占位符替换为真实 Key 即可。

Q：docker run --it 报错怎么办？

A：README 中写的是 --it，若 Docker 提示未知参数，可改用 -it（-i 交互 + -t 分配终端）再运行。

Q：poetry install 失败？

A：README 要求必须在 /YiVal 目录下执行该命令，请先 cd 进入仓库根目录，并确认 Poetry 已正确安装。

Q：配置文件应该放在哪里？

A：README 的示例是在 /YiVal/src/yival 目录下创建 config_data_generation.yml，并在同一目录执行 yival run。

Q：需要 GPU 或 Jupyter 环境怎么办？

A：README 提供了 GPU/Jupyter 镜像：先 docker pull yival/release:cu12_torch_jupyter，再执行 docker run --gpus all -it -p 8888:8888 yival/release:cu12_torch_jupyter。

注意事项

Docker 与 Poetry 是 README 给出的两种并列安装方式，按需选其一即可：docker pull yival/release:latest 后 docker run --it yival/release:latest。
Poetry 方式安装依赖时必须处于 /YiVal 目录，运行示例程序时必须处于 /YiVal/src/yival 目录。
还需要配置真实可用的 OpenAI API Key，示例配置使用 gpt-4 模型。
README 推荐用带 Docker 扩展的 VSCode 运行和开发。

核心亮点

自动生成提示词变体，省去手动试错时间
内置多种评估指标，支持量化对比效果
支持多模型和多配置实验，便于横向比较

不足之处

文档/社区待观察
对复杂多轮对话场景支持有限

适用场景

LLM 应用开发中的提示词调优
图像生成应用的 prompt 优化
AI 产品上线前的效果评估与回归测试

替代项目

Promptimize、PromptPerfect、OpenAI Evals

项目介绍

YiVal 是开发框架领域的开源项目，由 YiVal 开发，2023 年首次发布。

在全站 13,109 个收录项目中，它的 GitHub 星标数（2,135）位列前 30%，在开发框架分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。

它主要面向的使用场景是：LLM应用开发中的提示词调优。同类可对比的替代方案包括 Promptimize、PromptPerfect、OpenAI Evals。

上一篇：stability-sdk

下一篇：ComfyUI_Comfyroll_CustomNodes