Prompt-Vault

现成的编程提示词测试集,拿来就能给代码模型跑分

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 85 👀 关注 10
GitHub ↗
GitHub 星标 ★ 367
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费使用

项目数据

分类评测安全
开发团队w512
定价模式🏷️完全免费
价格说明开源免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
GitHub 星标★ 367
上线时间2026-03-19 00:00:00
代码更新2026-10-24
仓库体积47 KB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-11-21
浏览次数0

项目介绍

Prompt-Vault 是一个面向大语言模型评测的提示词与项目规格集合,主要收录编程类提示词和详细的项目需求描述,用于对 LLM 的代码生成与工程理解能力进行基准测试。它解决的核心问题是:评测代码模型时缺少统一、可复现且贴近真实开发任务的测试素材,零散提示词难以横向对比不同模型。项目把提示词按任务组织成可复用资产,每个条目附带较完整的项目规格,使测试者能直接拿来做提示注入、跑分对比或回归验证。核心能力包括:提供结构化编程提示词库、给出可落地的项目级需求说明、支持作为评测基准的输入源,以及便于社区贡献新用例。适合模型评测研究者、AI 产品团队和提示词工程实践者用作测试集起点,也可作为构建自有评测流水线的参考素材。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 367

核心亮点

  • 提示词按编程任务组织,附带详细项目规格,可直接作为评测输入
  • 覆盖项目级需求描述,比单轮问答更接近真实开发场景
  • 结构简单、易读易改,方便团队二次扩充自有测试用例

不足之处

  • 仅 367 星,社区规模小,用例数量和更新频率有限
  • 缺少配套的自动评分脚本与评测流水线,需自行搭建对比框架

适用场景

  • 对比多个代码模型在同一批编程任务上的表现
  • 为团队内部模型选型搭建可复现的提示词测试集
  • 作为提示词工程教学与项目规格写作的参考样例

替代项目

HumanEval、BigCodeBench、promptfoo

上一篇:arena-hard-auto

下一篇:没有了!

同类项目推荐

dep-scan 开源

扫依赖和镜像,查漏洞与许可证风险,出 SBOM

OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···

★ 1460 2026-10-23
hallucination-index 开源

测出哪个AI最会胡说八道,选模型不再踩坑

Initiative to evaluate and rank the most popular LLMs across common task types based···

★ 115 2026-08-09
beir 开源

一个平台,跑遍15+检索数据集,看清模型真实力。

A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your mode···

★ 2334 2026-08-09
skillsbench 开源

给 AI 技能和 agent 打分,看谁真会用工具

SkillsBench evaluates how well skills work and how effective agents are at using the···

★ 1930 2026-10-18
Awesome-KV-Cache-Optimization 开源

一页看懂 KV Cache 优化全景,快速选对推理加速方案

[ACL 2026] Towards Efficient Large Language Model Serving: A Survey on System-Aware ···

★ 427 2026-09-25
RiOSWorld 开源

测出你的电脑智能体有多“手贱”,防翻车必备

[NeurIPS 2025] Official repository of RiOSWorld: Benchmarking the Risk of Multimodal···

★ 126 2026-08-09
Video-MME-v2 开源

评测视频大模型,从看懂片段到理解长视频全场景。

Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understan···

★ 368 2026-08-09