16-07 追踪恢复差异

题目

分别省去 Adam 状态、Dropout 随机状态或打乱状态，比较第一个发生差异的批次，再恢复完整检查点。

推导与做法

恢复训练需要网络权重、Adam 的动量/步数、Dropout 使用的随机状态，以及样本打乱生成器的状态。只保存权重，下一步虽然能运行，却不一定走同一条训练过程。

题解先训练一批并保存快照，再分别完整恢复、漏 Adam、漏 Dropout、漏 shuffle，比较下一批更新后的全部参数。构造模型会消耗随机数，因此必须在构造并加载之后恢复全局 RNG。完整版本应逐项相同，三种省略版本会出现差异。

过程图

%% 每个节点保留输入、执行位置或执行后的实际状态。 flowchart TD A["一批更新后：保存模型、Adam、全局RNG、shuffleRNG"] A --> B["完整恢复后，读取下一批并更新"] B --> C["参数与连续训练逐项相同"] A --> D["漏Adam：动量和步数重新开始"] D --> E["下一次参数更新发生差异"] A --> F["漏全局RNG：Dropout掩码改变"] F --> E A --> G["漏shuffleRNG：下一批样本改变"] G --> E classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A linkStyle default stroke:#4657B5

实现与运行

查看带注释实现。本题与相关处理函数放在同一章节代码文件中；启动工具负责定位相邻项目和选择题号。

在配套目录的 PyTorch与模型开发/training_project 中运行。先按项目 README 执行 uv sync --locked。接口题先安装 serve 可选项：uv sync --locked --extra serve。

# 使用项目解释器运行本题，题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch16.py" 16-07

程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较，再修改一项输入重跑。

查看本题运行结果

# 与上面的手算状态和题目数值逐项比较。
{
  "complete": true,
  "optimizer": false,
  "dropout": false,
  "shuffle": false
}