想抓安居客上的信息,但是按照视频教程,成功不了。求各位大牛指导!
1、按照视频教程,做好规则,做了样例复制,样例1和样例2也标记了。但是安居客一页有60套房,可是实际一页只能抓下来不到10条。
2、把抓到的网址做二级规则的线索,“下一页”做记号值,也把翻页那里做了翻页定位。但是安居客最多能翻50页,可是实际抓取的时候只能抓到30多页甚至更少就停止了。。。。打数机里看线索统计,显示超时1.


翻页连贯抓取.png (123.78 KB, 下载次数: 655)

翻页连贯抓取

翻页连贯抓取
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2017-5-14 16:17

沙发
Fuller 管理员 发表于 2017-5-14 14:16:05 | 只看该作者
我测试了一下,规则没有问题,DS打数机运行的时候要打开滚屏功能,菜单 配置-〉滚屏参数,把滚屏次数设置成>0的数字。这个网页内容不滚屏就不显示
举报 使用道具
板凳
anbie_xm 新手上路 发表于 2017-5-14 14:35:40 | 只看该作者
Fuller 发表于 2017-5-14 14:16
我测试了一下,规则没有问题,DS打数机运行的时候要打开滚屏功能,菜单 配置-〉滚屏参数,把滚屏次数设置成 ...

滚屏次数和滚屏速度默认的都是2,可是还是不行。
还是抓到十几页就停止了。。每页页就十来条数据。
求帮忙,求指导

举报 使用道具
地板
anbie_xm 新手上路 发表于 2017-5-14 14:38:14 | 只看该作者
Fuller 发表于 2017-5-14 14:16
我测试了一下,规则没有问题,DS打数机运行的时候要打开滚屏功能,菜单 配置-〉滚屏参数,把滚屏次数设置成 ...

做样例复制的时候,点测试,输出结果也只有一条信息
举报 使用道具
5#
Fuller 管理员 发表于 2017-5-14 16:03:56 | 只看该作者
anbie_xm 发表于 2017-5-14 14:38
做样例复制的时候,点测试,输出结果也只有一条信息

是的,很奇怪,一方面,如果鼠标不放在浏览器上,就会抓取失败,另一方面,就是只抓一条。我们正在检查具体原因
举报 使用道具
6#
Fuller 管理员 发表于 2017-5-14 16:07:24 | 只看该作者


根据这个图来看,你做样例复制映射的时候,是不是没有选第一个和第二个样例?怎么会从这个57开始
举报 使用道具
7#
anbie_xm 新手上路 发表于 2017-5-14 16:11:34 | 只看该作者
Fuller 发表于 2017-5-14 16:07


根据这个图来看,你做样例复制映射的时候,是不是没有选第一个和第二个样例?怎么会从这个57开始

做了的。现在改用定位标志来实现这个功能,目前能抓取大概40条了。不过还是有20条没抓到
举报 使用道具
8#
Fuller 管理员 发表于 2017-5-14 16:17:43 | 只看该作者


这个网页一定是用了一些动态技术,鼠标移动到网页上,网页结构会变化,为了防止这种变化造成影响,用上定位标志映射
1,给抓取内容用上定位标志映射,参看《用定位标志映射提高抓取精度
2,不用样例复制,而是用定位标志映射抓取列表,进一步提高精度,参看《用定位标志映射抓取列表
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-19 16:57