快捷导航
   规则名称为:Q房网香洲一级  网站一页有接近30条数据,但是查看了规则测试,只能出来10多条数据。然后开始爬取,表格出来也只有10多条数据。网页正确的一页30条。不知道哪里出了错,只能抓到一半。

测试的信息只出来10条

测试的信息只出来10条

样例复制

样例复制
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2018-7-12 17:59

汽车论坛 初级会员 发表于 2018-7-12 16:08:19 | 显示全部楼层
把定位方式改成绝对定位
8.png
举报 使用道具
Arie-X 中级会员 发表于 2018-7-12 16:23:56 | 显示全部楼层
给抓取内容做上定位标志映射,就可以了。
QQ香洲.png
举报 使用道具
gdsyX001 初级会员 发表于 2018-7-12 17:02:22 | 显示全部楼层
Arie-X 发表于 2018-7-12 16:23
给抓取内容做上定位标志映射,就可以了。

谢谢,嗯,还有个问题,为什么数据没抓完就显示已经抓取完成?

显示抓完了,但是抓取中还有10条

显示抓完了,但是抓取中还有10条
举报 使用道具
Fuller 管理员 发表于 2018-7-12 17:26:40 | 显示全部楼层
gdsyX001 发表于 2018-7-12 17:02
谢谢,嗯,还有个问题,为什么数据没抓完就显示已经抓取完成?

抓取完成那句话说的是自己窗口的任务完成了,其他窗口还在抓取的话,这个窗口是不知道的。
举报 使用道具
gdsyX001 初级会员 发表于 2018-7-12 17:39:09 | 显示全部楼层
本帖最后由 gdsyX001 于 2018-7-12 17:54 编辑
Arie-X 发表于 2018-7-12 16:23
给抓取内容做上定位标志映射,就可以了。
现在可以了,谢谢
举报 使用道具
gdsyX001 初级会员 发表于 2018-7-12 17:40:47 | 显示全部楼层
Fuller 发表于 2018-7-12 17:26
抓取完成那句话说的是自己窗口的任务完成了,其他窗口还在抓取的话,这个窗口是不知道的。 ...

嗯,就是在该窗口上抓取的,然后显示完成的。
举报 使用道具
Fuller 管理员 发表于 2018-7-12 17:44:11 | 显示全部楼层
gdsyX001 发表于 2018-7-12 17:39
你好,刚才的香洲的用绝对定位是可以了。但是我做金湾的时候,已经全部数据绝对定位了,还是只抓到一页的 ...

在DOM上选中含有定位标志的那个节点,就是你截图上选中的那个节点,点击鼠标右键,菜单 定位标志映射
举报 使用道具
Fuller 管理员 发表于 2018-7-12 17:47:52 | 显示全部楼层
gdsyX001 发表于 2018-7-12 17:40
嗯,就是在该窗口上抓取的,然后显示完成的。

最后变成了fetching状态,有两种可能:
1,正在抓这个网址的时候,这个窗口突然被关了
2,服务器突然出现暂时性的拥塞,本来要上报状态,告诉服务器,这条网址已经不是fetching了,结果这个过程被中断了

如果觉得不对,看DS打数机下部的日志窗口,如果日志窗口没有打开,那么点住下边沿中间的那个三角形符号往上拉,就可展开日志窗口
举报 使用道具
gdsyX001 初级会员 发表于 2018-7-12 17:59:45 | 显示全部楼层
Fuller 发表于 2018-7-12 17:47
最后变成了fetching状态,有两种可能:
1,正在抓这个网址的时候,这个窗口突然被关了
2,服务器突然出现 ...

嗯嗯,好的,非常谢谢你。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-9-20 12:15