16-09 批量梯度累积
题目
把一次四条样本的梯度与两次两条样本的累积梯度比较，按样本数缩放损失，核对一次最终更新。
推导与做法
整批损失是四条样本误差的平均。分成两批各两条时，每个微批均值只占总均值的一半，因此先乘 2/4，再 backward。
两次反传之间不清空梯度，全部微批结束后只执行一次 optimizer.step。题解从相同参数分别执行整批和微批，比较更新后的权重与偏置。若直接把两个微批均值相加，梯度会放大两倍。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["整批4项：loss取四项平均"]
S1["微批1：均值乘2/4再反传"]
S0 --> S1
S2["微批2：均值乘2/4累积梯度"]
S1 --> S2
S3["最后只step一次，与整批参数相同"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中；启动工具负责定位相邻项目和选择题号。
在配套目录的 PyTorch与模型开发/training_project 中运行。先按项目 README 执行 uv sync --locked。接口题先安装 serve 可选项：uv sync --locked --extra serve。
# 使用项目解释器运行本题，题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch16.py" 16-09程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较，再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"equal": true
}