九、爬虫与数据采集

上一章已经能从三个接口读取书目，再交给记录检查与 SQLite 保存。现在书目分散在目录页和详情页中，目录还有“下一页”，同一本书会在几处重复出现。需要先找出这些链接，逐条取得完整记录，并记住哪些工作已经保存。

本章围绕一个书籍目录采集器推进。先顺序读一页，看懂 HTML 中的结构和字段；再跟随分页、去重和读取详情；随后把独立请求并发起来，加入间隔、重试与进度保存。最后处理点击后才出现的数据，并比较自己组织的采集程序与 Scrapy 的任务框架。配套文件见 爬虫与数据采集示例索引。