09-07 采集动态第三页
题目
扩展 Playwright 例子,按实际按钮状态走完三页;每次分别等待接口与 DOM,最终保留六个编号,并与直接读取 JSON 的结果比较。
推导与做法
每次点击后有两件事:接口响应到达,脚本再把结果写进 DOM。先 expect_response,再等待页面的 data-page 变成目标页号,最后读取卡片编号。
演示用浏览器路由提供三页真实 fetch 响应,按按钮 disabled 状态结束,收集 b101 到 b106 六项,并与 JSON 页列表逐项比较。运行前在采集项目执行 uv run playwright install chromium;本机已有浏览器时,可用 NOTES_BROWSER_EXECUTABLE 指定其可执行文件。
过程图
%% 每个节点保留输入、执行位置或执行后的实际状态。
flowchart TD
S0["点击下一页"]
S1["expect_response 捕获API响应"]
S0 --> S1
S2["等待 DOM 的data-page改为目标页"]
S1 --> S2
S3["读取本页编号,第三页按钮disabled后停止"]
S2 --> S3
classDef default fill:#EEF0FB,stroke:#4657B5,color:#24324A
linkStyle default stroke:#4657B5
实现与运行
查看带注释实现。本题与相关处理函数放在同一章节代码文件中;启动工具负责定位相邻项目和选择题号。
在配套目录的 爬虫与数据采集/crawler_project 中运行。先按项目 README 执行 uv sync --locked。
# 使用项目解释器运行本题,题号决定执行哪一组演示。
uv run python "../../学习索引/参考实现/代码/ch09.py" 09-07
程序按题号输出处理后的值、查询结果或状态。先和前面的手算比较,再修改一项输入重跑。
查看本题运行结果
# 与上面的手算状态和题目数值逐项比较。
{
"browser": [
"b101",
"b102",
"b103",
"b104",
"b105",
"b106"
],
"json": [
"b101",
"b102",
"b103",
"b104",
"b105",
"b106"
]
}