Python爬虫实战案例之Scrape网电影数据爬取(多进
文章浏览阅读904次,点赞16次,收藏16次。这篇文档介绍用Python多进程爬取电影网站1-10页信息,通过模块化函数(列表
接下来分析一下翻页的逻辑, h2节点的外面包含一个a节点,。
即hhtps://ss1.scrape.center/detail/1, 。
以此类推,第3页。
加上网站的根URL就构成了电影详情页的URL,这个节点带有href属性,href的值为/detail/1,其实就是一个超链接,这是一个相对于网站的根URL hhtps://ss1.scrape.center/的路径。
可以看到网页的URL变成了hhtps://ssr1.scrape.center/page/2,第4页等等。
当点击最下方的第2页时。
- 上一篇:成都信息工程大学计划财务处
- 下一篇:【ScrapeCenter】爬虫案例实战教程
相关文章
广告位
评论列表