16-01 改变手算样本
题目
用 x=3、y=7、w=1、b=0 手算前向、梯度和一次更新,再与自动微分逐项比较。
推导与做法
预测为 wx+b=3,残差为 3-7=-4,平方损失为 16。先对预测求导,得到 2×(-4)=-8;预测对 w 的导数为 x=3,所以 dw=-24,db=-8。
学习率取 0.1,w 更新为 1-0.1×(-24)=3.4,b 更新为 0.8。代码先交回前向值、损失与两个梯度,再显示新参数,用来与手算逐项比较。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["x3、y7、w1、b0"]
S1["预测3,残差-4,损失16"]
S0 --> S1
S2["反传:dw=-24,db=-8"]
S1 --> S2
S3["学习率0.1:w=3.4,b=0.8"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。
在配套目录的 PyTorch与模型开发/training_project 中运行。先按项目 README 执行 uv sync --locked。接口题先安装 serve 可选项:uv sync --locked --extra serve。
# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch16.py" 16-01
程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"prediction": 3.0,
"loss": 16.0,
"dw": -24.0,
"db": -8.0,
"next_w": 3.4000000953674316,
"next_b": 0.800000011920929
}