09-03 区分 URL 与记录身份
题目
同时安排 b101 的正常地址和别名,检查两项 URL 任务完成而结果只有一本;再增加 edition 查询,解释哪些查询参与资源选择。
推导与做法
URL 表示请求哪份资源,source_id 表示最终保存哪条业务记录。正常地址和别名可以是两项任务,但解析出的 b101 只能留下一个结果。
edition 参与版本选择,不能像追踪参数 from 一样删除。若不同 edition 在业务上也是两本书,结果唯一键还应包含 edition;先明确源站编号的含义,再决定去重键。演示先完成两个地址,核对 jobs_done=2、items=1。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["正常URL与别名:两个任务"]
S1["分别请求并解析"]
S0 --> S1
S2["两份结果 source_id 都为b101"]
S1 --> S2
S3["两个任务done,items仅一行"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。
在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。
# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-03
程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"pages_done": 1,
"pages_pending": 0,
"jobs_done": 2,
"jobs_pending": 0,
"items": 1
}