Python 现代开发学习笔记

09-07 采集动态第三页

本章题解 · 全部练习

题目

扩展 Playwright 例子,按实际按钮状态走完三页;每次分别等待接口与 DOM,最终保留六个编号,并与直接读取 JSON 的结果比较。

推导与做法

每次点击后有两件事:接口响应到达,脚本再把结果写进 DOM。先 expect_response,再等待页面的 data-page 变成目标页号,最后读取卡片编号。

演示用浏览器路由提供三页真实 fetch 响应,按按钮 disabled 状态结束,收集 b101 到 b106 六项,并与 JSON 页列表逐项比较。运行前在采集项目执行 uv run playwright install chromium;本机已有浏览器时,可用 NOTES_BROWSER_EXECUTABLE 指定其可执行文件。

过程图

%% 每个节点保留输入、执行位置或执行后的实际状态。 flowchart TD S0["点击下一页"] S1["expect_response 捕获API响应"] S0 --> S1 S2["等待 DOM 的data-page改为目标页"] S1 --> S2 S3["读取本页编号,第三页按钮disabled后停止"] S2 --> S3 classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A linkStyle default stroke:#4657B5

实现与运行

查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。

在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。

# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-07

程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。

查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
  "browser": [
    "b101",
    "b102",
    "b103",
    "b104",
    "b105",
    "b106"
  ],
  "json": [
    "b101",
    "b102",
    "b103",
    "b104",
    "b105",
    "b106"
  ]
}

笔记正文与全部题解 · Ctrl / ⌘ K