09-01 给目录增加第四页
题目
放入两本已存在的书和一本新书;先手算卡片总数与唯一记录数,再运行同步和完整采集器,对照待处理任务与最终记录。
推导与做法
原站三页分别有 3、3、3 张卡片,共 9 张,去重后为 b101 到 b106 六本。第四页放入 b101、b106、b107 后,共 12 张卡片、7 个唯一编号,真正新增的只有 b107。
代码沿用原站的 PAGES 与 BOOKS,生成四页 HTML,交给原来的 parse_catalog 与 CrawlState。同步集合与进度库都得到 7 项,四个目录任务和七个详情任务全部完成。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["前三页9张卡片,6个编号"]
S1["第四页 b101、b106、b107"]
S0 --> S1
S2["共12张卡片,详情URL去重为7项"]
S1 --> S2
S3["四页和七项全部done,结果7本"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。
在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。
# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-01
程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"cards": 12,
"sync_unique": 7,
"stateful": {
"pages_done": 4,
"pages_pending": 0,
"jobs_done": 7,
"jobs_pending": 0,
"items": 7
},
"new": [
"b107"
]
}