规则名称为:Q房网香洲一级  网站一页有接近30条数据,但是查看了规则测试,只能出来10多条数据。然后开始爬取,表格出来也只有10多条数据。网页正确的一页30条。不知道哪里出了错,只能抓到一半。

1.png (28.25 KB, 下载次数: 697)

测试的信息只出来10条

测试的信息只出来10条

2.png (343.63 KB, 下载次数: 703)

样例复制

样例复制
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2018-7-12 17:59

沙发
汽车论坛 中级会员 发表于 2018-7-12 16:08:19 | 只看该作者
把定位方式改成绝对定位

8.png (73.78 KB, 下载次数: 718)

8.png
举报 使用道具
板凳
Arie-X 中级会员 发表于 2018-7-12 16:23:56 | 只看该作者
给抓取内容做上定位标志映射,就可以了。

举报 使用道具
地板
gdsyX001 初级会员 发表于 2018-7-12 17:02:22 | 只看该作者
Arie-X 发表于 2018-7-12 16:23
给抓取内容做上定位标志映射,就可以了。

谢谢,嗯,还有个问题,为什么数据没抓完就显示已经抓取完成?

显示完成了,但还有10个在抓取中.png (106.07 KB, 下载次数: 642)

显示抓完了,但是抓取中还有10条

显示抓完了,但是抓取中还有10条
举报 使用道具
5#
Fuller 管理员 发表于 2018-7-12 17:26:40 | 只看该作者
gdsyX001 发表于 2018-7-12 17:02
谢谢,嗯,还有个问题,为什么数据没抓完就显示已经抓取完成?

抓取完成那句话说的是自己窗口的任务完成了,其他窗口还在抓取的话,这个窗口是不知道的。
举报 使用道具
6#
gdsyX001 初级会员 发表于 2018-7-12 17:39:09 | 只看该作者
本帖最后由 gdsyX001 于 2018-7-12 17:54 编辑
Arie-X 发表于 2018-7-12 16:23
给抓取内容做上定位标志映射,就可以了。
现在可以了,谢谢
举报 使用道具
7#
gdsyX001 初级会员 发表于 2018-7-12 17:40:47 | 只看该作者
Fuller 发表于 2018-7-12 17:26
抓取完成那句话说的是自己窗口的任务完成了,其他窗口还在抓取的话,这个窗口是不知道的。 ...

嗯,就是在该窗口上抓取的,然后显示完成的。
举报 使用道具
8#
Fuller 管理员 发表于 2018-7-12 17:44:11 | 只看该作者
gdsyX001 发表于 2018-7-12 17:39
你好,刚才的香洲的用绝对定位是可以了。但是我做金湾的时候,已经全部数据绝对定位了,还是只抓到一页的 ...

在DOM上选中含有定位标志的那个节点,就是你截图上选中的那个节点,点击鼠标右键,菜单 定位标志映射
举报 使用道具
9#
Fuller 管理员 发表于 2018-7-12 17:47:52 | 只看该作者
gdsyX001 发表于 2018-7-12 17:40
嗯,就是在该窗口上抓取的,然后显示完成的。

最后变成了fetching状态,有两种可能:
1,正在抓这个网址的时候,这个窗口突然被关了
2,服务器突然出现暂时性的拥塞,本来要上报状态,告诉服务器,这条网址已经不是fetching了,结果这个过程被中断了

如果觉得不对,看DS打数机下部的日志窗口,如果日志窗口没有打开,那么点住下边沿中间的那个三角形符号往上拉,就可展开日志窗口
举报 使用道具
10#
gdsyX001 初级会员 发表于 2018-7-12 17:59:45 | 只看该作者
Fuller 发表于 2018-7-12 17:47
最后变成了fetching状态,有两种可能:
1,正在抓这个网址的时候,这个窗口突然被关了
2,服务器突然出现 ...

嗯嗯,好的,非常谢谢你。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 13:52