svelte-bench

专测大模型写 Svelte 5 代码行不行

开源 🏷️完全免费 ✅ 目前可打开 评测安全 🍴 复刻 10 🐛 待处理 2 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 190
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费项目,无付费计划

项目预览

svelte-bench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队khromov
定价模式🏷️完全免费
价格说明开源免费项目,无付费计划
访问状态✅ 目前可打开
是否开源是
主要语言TypeScript
技术栈/模型ai,svelte,sveltekit
GitHub 星标★ 190
上线时间2025-03-06 00:00:00
代码更新2026-11-02
仓库体积5.9 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-15
浏览次数1

项目介绍

svelte-bench 是一个专门评测大语言模型在 Svelte 5 框架下代码生成能力的基准测试项目,基于 OpenAI 论文《Evaluating Large Language Models Trained on Code》中提出的方法论构建。它解决的核心问题是:现有代码评测基准(如 HumanEval)多聚焦于 Python 通用编程,缺乏对现代前端框架特别是 Svelte 5 新语法(如 runes、snippets)的针对性评估。项目通过设计一系列 Svelte 5 专属编程任务,让模型生成组件或逻辑代码,再以自动化方式验证正确性,从而量化模型对 Svelte 5 的掌握程度。核心能力包括任务集管理、模型输出执行与断言校验、结果统计与对比,技术栈为 TypeScript + SvelteKit,适合模型开发者、前端团队和评测研究者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 190

技术标签

核心亮点

  • 聚焦 Svelte 5 新特性(runes、snippets),填补现有代码基准对现代前端框架覆盖不足的空白
  • 沿用 OpenAI 论文的评测方法论,任务设计与验证逻辑有学术依据,结果可比性较强
  • 基于 SvelteKit 实现,评测流程自动化,可扩展自定义任务集

不足之处

  • 项目处于早期,任务集规模和覆盖场景有限,评测结论的统计效力有待扩充
  • 社区生态和文档尚不完善,非 Svelte 用户上手门槛较高

适用场景

  • 模型团队评估新版本 LLM 对 Svelte 5 代码生成的准确率
  • 前端团队选型时对比不同模型写 Svelte 5 组件的可用性
  • 研究者做代码生成基准的跨框架横向对比实验

替代项目

HumanEval、BigCodeBench

同类项目推荐

superagent 开源

给 AI 应用装上安全盾,防注入防泄露

Superagent protects your AI applications against prompt injections, data leaks, and ···

★ 6823 2026-08-09
Awesome-LLM-Red-Teaming 开源

一站式收集 LLM 红队测试资源,快速上手安全攻防

A curated list of awesome LLM Red Teaming training, resources, and tools.

★ 147 2026-08-09
agentjail 开源

给AI编程助手装上安全锁,每次操作先过检再执行

Policy guardrails for coding agents (Claude Code, Codex, Cursor) — every tool call ···

★ 100 2026-08-09
LLMVault 开源

在真实漏洞靶场中练手,掌握 LLM 安全攻防实战

An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···

★ 348 2026-08-09
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 3087 2026-09-12
Doberman-Core 开源

给 AI 智能体装上安全锁,防提示注入,控工具权限

Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···

★ 277 2026-08-09
AutomationBench 开源

测测你的AI智能体,能不能搞定真实业务流程

A benchmark for evaluating AI agents on realistic business workflows

★ 375 2026-08-10
RAGElo 开源

用 Elo 对战排名,快速选出最强 RAG 智能体

RAGElo is a set of tools that helps you selecting the best RAG-based LLM agents by u···

★ 133 2026-10-02
Awesome-LVLM-Safety 开源

一页看懂视觉语言模型安全攻防与评测资源

A curated list of resources dedicated to the safety of Large Vision-Language Models.···

★ 223 2026-10-14