PLTranslationEmpirical

看穿 LLM 代码翻译的坑，用数据帮你避雷

PLTranslationEmpirical 是 ICSE 2024 论文《Lost in Translation: A Study of Bugs Introduced by Large Language Models while Translating Code》的配套工件仓库。该研究系统性地分析了大型语言模型在代码翻译过程中引入的缺陷类型与成因，旨在帮助开发者理解 LLM 翻译代码的可靠性边界。仓库包含论文中使用的实验数据、翻译前后的代码样本、缺陷分类标注以及复现实验的脚本，支持研究者复现论文结果并进一步探索代码翻译质量提升方法。核心能力包括：提供多语言代码翻译的缺陷数据集、定义缺陷分类体系、给出可复现的评估流程。项目主要面向软件工程研究者和关注 LLM 代码生成质量的开发者，用于评估和改进代码翻译工具。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 54
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队Intelligent-CAT-Lab
所属国家
官网地址
GitHubhttps://github.com/Intelligent-CAT-Lab/PLTranslationEmpirical
定价模式free
价格说明开源项目，MIT许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型bug-taxonomy,empirical-research,large-language-models,machine-learning,programming-languages
GitHub 星标★ 54
30天Star增速
HF 下载量
上线时间2023-07-14 00:00:00
最近更新2026-05-19 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • 基于 ICSE 2024 顶会论文，缺陷分类体系严谨，有学术背书
  • 提供完整实验数据和复现脚本，可直接验证论文结论
  • 聚焦代码翻译缺陷这一细分场景，数据粒度细，实用性强

不足之处

  • 文档/社区待观察
  • 仅提供静态数据集，未集成可交互的演示或在线工具

适用场景

  • 学术研究：复现论文实验，深入分析 LLM 翻译缺陷模式
  • 工具评估：对比不同 LLM 的代码翻译质量，选择更可靠的模型
  • 教学素材：用于软件工程课程中讲解 LLM 代码生成的局限

替代项目

CodeXGLUE、TransCoder、CodeTransBench

项目介绍

PLTranslationEmpirical 是数据集领域的开源项目，由 Intelligent-CAT-Lab 开发，2023 年首次发布。

它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 54。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-19。MIT许可证，完全免费，无付费版本。

它主要面向的使用场景是：学术研究：复现论文实验，深入分析LLM翻译缺陷模式。同类可对比的替代方案包括 CodeXGLUE、TransCoder、CodeTransBench。

上一篇：awesome-lifelong-learning-methods-for-llm

下一篇：MathPile

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注，图像视频文本通吃，导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10528 2026-08-10
aisheets 开源

像用表格一样批量调 AI，不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1645 2026-09-20
distilabel 开源

基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3398 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据，告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09