lingvo

环境要求

• Python 3（用于 pip3 命令）
• 若从源码构建：TensorFlow 2.7、C++ 编译器（官方仅支持 g++ 7.3）、Bazel 构建系统
• 可选：Docker（用于使用官方提供的 Docker 配置）
• 运行 MNIST 示例需要能访问网络以自动下载数据集

安装与启动步骤

1. 1安装 lingvo

   通过 pip 安装冻结版本的 Lingvo，适合直接使用框架训练自定义模型，但不易修改框架代码。

   pip3 install lingvo

   复制

2. 2准备 MNIST 工作目录

   创建 /tmp/mnist 目录并进入，随后下载 MNIST 模型参数文件。

   mkdir -p /tmp/mnist && cd /tmp/mnist

   复制

3. 3下载模型参数

   从 GitHub 拉取 MNIST 的 params 文件到当前目录，命令中已指定保存路径 /tmp/mnist。

   cd /tmp/mnist && curl -O https://raw.githubusercontent.com/tensorflow/lingvo/master/lingvo/tasks/image/params/mnist.py

   复制

4. 4启动 MNIST 训练

   以本地 CPU、同步模式运行 LeNet5 训练，日志写入 /tmp/mnist/log。约 20 秒后 loss 应低于 0.3。按 Ctrl+C 停止。

   python3 -m lingvo.trainer --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log

   复制

5. 5运行评估任务

   训练与评估应作为两个独立进程同时运行，此命令在 Test 数据集上评估已保存的 checkpoint。

   python3 -m lingvo.trainer --job=evaler_test --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log

   复制

关键配置

如何确认成功

训练日志中 loss 降到 0.3 以下并出现 Save checkpoint；评估日志出现 accuracy 与 acc5 数值即成功。

常见问题

注意事项

• README 明确说明机器翻译需要 GPU 集群，请参考 mt/README.md。
• GShard 万亿参数语言模型需要 GCP Cloud TPU v3-512，3D 目标检测同样需要 Cloud TPU。
• 从源码构建请以 docker/dev.Dockerfile 作为可用的依赖参考。
• Docker 用户可使用 lib.dockerfile（预装 pip 包）或 dev.Dockerfile（源码构建）。