Python 现代开发学习笔记

09-04 从失败恢复

本章题解 · 全部练习

题目

让 b103 前两次返回 503,再让它持续失败。核对尝试次数、日志、已完成数量,以及修复后仅重新读取这一项的请求记录。

推导与做法

前两次 503、第三次 200 的任务,需要三次尝试;持续 503 的任务则在尝试用完后保持 done=0。重试不能把一次 HTTP 错误误记成完成。

进度库保留这本书的 URL,修复后只读取 pending_jobs 中这一项。演示分别记录成功前的三次尝试、持续失败的三个状态码、恢复时请求的地址和最终记录数。实际网络等待使用已有退避逻辑,失败状态不写成空书目。

过程图

%% 每个节点保留输入、执行位置或执行后的实际状态。 flowchart TD S0["b103 第一次503"] S1["第二次503:仍pending"] S0 --> S1 S2["第三次200:解析并提交done"] S1 --> S2 S3["持续失败则保留pending,修复后只重读它"] S2 --> S3 classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A linkStyle default stroke:#4657B5

实现与运行

查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。

在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。

# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-04

程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。

查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
  "attempts_before_success": 3,
  "persistent_failure_keeps": {
    "pages_done": 1,
    "pages_pending": 0,
    "jobs_done": 0,
    "jobs_pending": 1,
    "items": 0
  },
  "persistent_failure_attempts": [
    503,
    503,
    503
  ],
  "requested_on_resume": [
    "https://practice.invalid/books/b103"
  ],
  "after_resume": {
    "pages_done": 1,
    "pages_pending": 0,
    "jobs_done": 1,
    "jobs_pending": 0,
    "items": 1
  }
}

笔记正文与全部题解 · Ctrl / ⌘ K