17-05 增加固定评估记录

题目

先推导：固定哪一组数据，怎样保存逐条误差。完成时核对：两个候选在相同划分与指标上比较。

推导与做法

固定评估集要固定样本编号、目标值与指标定义。两个候选都在 test-1、test-2、test-3 上预测，再逐条保存误差，才能定位总体指标变化来自哪条记录。

v1 误差为 1、-2、3，v2 为 0、-1、2。分别计算 MAE 与 RMSE，并保存 split=frozen-test-v1。比较时不重新划分，也不把候选自己的训练集分数当成这份固定测试结果。

过程图

%% 每个节点保留输入、执行位置或执行后的实际状态。 flowchart TD S0["固定同一test样本编号与真实值"] S1["分别保存v1、v2逐条预测"] S0 --> S1 S2["按同一公式计算MAE与RMSE"] S1 --> S2 S3["保留逐条误差和划分编号供复查"] S2 --> S3 classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A linkStyle default stroke:#4657B5

实现与运行

查看带注释实现。本题与相关处理函数放在同一章节代码文件中；启动工具负责定位相邻项目和选择题号。

在配套目录的 综合项目与交付/model_project 中运行。先按项目 README 执行 uv sync --locked。

# 使用项目解释器运行本题，题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch17.py" 17-05

程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较，再修改一项输入重跑。

查看本题运行结果

# 与上面的手算状态和题目数值逐项比较。
[
  {
    "version": "v1",
    "split": "frozen-test-v1",
    "ids": [
      "test-1",
      "test-2",
      "test-3"
    ],
    "errors": [
      1.0,
      -2.0,
      3.0
    ],
    "mae": 2.0,
    "rmse": 2.160246899469287
  },
  {
    "version": "v2",
    "split": "frozen-test-v1",
    "ids": [
      "test-1",
      "test-2",
      "test-3"
    ],
    "errors": [
      0.0,
      -1.0,
      2.0
    ],
    "mae": 1.0,
    "rmse": 1.2909944487358056
  }
]