09-06 改用固定工作任务

题目

用上一章的有界队列替代按批下载，保持共享开始门，保存仍交给一个协调环节；对照相同输入的记录、最大同时处理数量和取消后状态。

推导与做法

把“为每批重新建任务”改成两个长期 worker。生产者向有界队列送入编号，worker 只做请求和解析；写库继续交给协调环节，避免多个任务各自控制提交。

示例先核对六个编号完整、同时处理数量不超过二，并等待 queue.join。接回 CrawlState 时，协调者逐项调用 complete_job；取消后未提交的项目仍是 pending，已经完成的记录可直接跳过。

过程图

%% 每个节点保留输入、执行位置或执行后的实际状态。 flowchart TD S0["生产者按页发现URL"] S1["容量受限的队列"] S0 --> S1 S2["两个worker请求和解析"] S1 --> S2 S3["协调保存每项，未提交项保持pending"] S2 --> S3 classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A linkStyle default stroke:#4657B5

实现与运行

查看带注释实现。本题与相关处理函数放在同一章节代码文件中；启动工具负责定位相邻项目和选择题号。

在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。

# 使用项目解释器运行本题，题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-06

程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较，再修改一项输入重跑。

查看本题运行结果

# 与上面的手算状态和题目数值逐项比较。
{
  "ids": [
    "b101",
    "b102",
    "b103",
    "b104",
    "b105",
    "b106"
  ],
  "maximum_active": 2,
  "all_delivered": true
}