09-04 从失败恢复
题目
让 b103 前两次返回 503,再让它持续失败。核对尝试次数、日志、已完成数量,以及修复后仅重新读取这一项的请求记录。
推导与做法
前两次 503、第三次 200 的任务,需要三次尝试;持续 503 的任务则在尝试用完后保持 done=0。重试不能把一次 HTTP 错误误记成完成。
进度库保留这本书的 URL,修复后只读取 pending_jobs 中这一项。演示分别记录成功前的三次尝试、持续失败的三个状态码、恢复时请求的地址和最终记录数。实际网络等待使用已有退避逻辑,失败状态不写成空书目。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["b103 第一次503"]
S1["第二次503:仍pending"]
S0 --> S1
S2["第三次200:解析并提交done"]
S1 --> S2
S3["持续失败则保留pending,修复后只重读它"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。
在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。
# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-04
程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"attempts_before_success": 3,
"persistent_failure_keeps": {
"pages_done": 1,
"pages_pending": 0,
"jobs_done": 0,
"jobs_pending": 1,
"items": 0
},
"persistent_failure_attempts": [
503,
503,
503
],
"requested_on_resume": [
"https://practice.invalid/books/b103"
],
"after_resume": {
"pages_done": 1,
"pages_pending": 0,
"jobs_done": 1,
"jobs_pending": 0,
"items": 1
}
}