svelte-bench

专测大模型写 Svelte 5 代码行不行

svelte-bench 是一个专门评测大语言模型在 Svelte 5 框架下代码生成能力的基准测试项目，基于 OpenAI 论文《Evaluating Large Language Models Trained on Code》中提出的方法论构建。它解决的核心问题是：现有代码评测基准（如 HumanEval）多聚焦于 Python 通用编程，缺乏对现代前端框架特别是 Svelte 5 新语法（如 runes、snippets）的针对性评估。项目通过设计一系列 Svelte 5 专属编程任务，让模型生成组件或逻辑代码，再以自动化方式验证正确性，从而量化模型对 Svelte 5 的掌握程度。核心能力包括任务集管理、模型输出执行与断言校验、结果统计与对比，技术栈为 TypeScript + SvelteKit，适合模型开发者、前端团队和评测研究者使用。