快捷导航
本帖最后由 ym 于 2017-2-13 16:19 编辑

一、什么是相同网页结构
相同的网页结构是指网页布局、组成、显示样式都一样,只有信息是不同的网页页面,这里的比较是针对同一个网站上的网页,不同网站的网页结构都是不同的。

例如:
下面两部电影的豆瓣影评页面就是相同的网页结构,分别打开两个网址,可以看到上下左右的布局、组成、显示样式都一模一样,不同的只是一个是泰坦尼克的影评,另一个是这个杀手不太冷的影评,它们都是豆瓣影评的网页,网页结构也是相同的,所以可以用一个爬虫程序(采集规则)来批量采集。
泰坦尼克号的影评 https://movie.douban.com/subject/1292722/reviews
QQ截图20170213154952.png
这个杀手不太冷的影评 https://movie.douban.com/subject/1295644/reviews
QQ截图20170213155121.png

二、如何批量采集
2.1,使用数据DIY上面现成的爬虫程序(选择目录:类别->网站->页面),查看样本网址就可以知道网页结构,把相同网页结构的其他网址点击“输入多条网址”就可以批量采集。
QQ截图20170213155912.png

2.2,下载集搜客爬虫,通过学习《从入门到精通》章节的教程,掌握制作采集规则的技能,就可以对想要采集的网页做采集规则,再把相同结构的网址添加到规则里,实现批量采集。
QQ截图20170213160005.png

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2017-7-24 17:53

mycar001 初级会员 发表于 2017-7-24 17:41:40 | 显示全部楼层
详情页是相同网页结构的网页,有n个,难道要放n个网址吗?
举报 使用道具
shengchengx 金牌会员 发表于 2017-7-24 17:53:59 | 显示全部楼层
mycar001 发表于 2017-7-24 17:41
详情页是相同网页结构的网页,有n个,难道要放n个网址吗?

通过采集列表页的链接,上下级会自动添加线索采集详细页
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-11-22 22:46