我要采集一个网页数据,网址是:餐馆无忧,网页结构是上面是大类,左边是小类,右边是数据加载区域,它是分页加载,但没分页按钮,是鼠标向下滑动才加载更多数据;所以我做个主题,主题名是:餐馆无忧数据采集,里面有三个连续动作,前两个对应大类点击和小类点击,定位表达式放在搜索里查询是正确的,第三个是滚轮动作。不知是不是设置的不对,滚轮没有实现,没有采集到更多的数据,同时点击动作最下面的两个小类没有点击,不知是什么问题。麻烦帮忙看下,谢谢了!图示如下:

   

举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2017-4-18 18:23

沙发
Fuller 管理员 发表于 2017-4-18 15:45:24 | 只看该作者
加上上一次你要采集的那个网站,这些都是手机网站,对PC不太兼容。这个网页可以滚轮,但是滚的特别慢,你得把滚动像素数设置很大,我刚才设置成3000,比你的300大了10倍,就能看到滚屏
举报 使用道具
板凳
shenzhenwan10 金牌会员 发表于 2017-4-18 15:45:51 | 只看该作者
试了试访问这个网站, 滚轮似乎不起作用, 要mousedown + move + mouseup
举报 使用道具
地板
persistfei 初级会员 发表于 2017-4-18 15:56:23 | 只看该作者
Fuller 发表于 2017-4-18 15:45
加上上一次你要采集的那个网站,这些都是手机网站,对PC不太兼容。这个网页可以滚轮,但是滚的特别慢,你得 ...

试了,改成3000只往下滚了一次,就不滚了,这个问题真的难解决吗?
举报 使用道具
5#
Fuller 管理员 发表于 2017-4-18 15:59:51 | 只看该作者
刚才又试了一下,这个网站最好加一个新动作,按住鼠标以后往上拖,那样才能更快地显示新内容
举报 使用道具
6#
persistfei 初级会员 发表于 2017-4-18 16:00:12 | 只看该作者
Fuller 发表于 2017-4-18 15:45
加上上一次你要采集的那个网站,这些都是手机网站,对PC不太兼容。这个网页可以滚轮,但是滚的特别慢,你得 ...

准确地说,往下滚了一次又回去了,不往下滚了,这是什么情况
举报 使用道具
7#
Fuller 管理员 发表于 2017-4-18 16:02:28 | 只看该作者
persistfei 发表于 2017-4-18 15:56
试了,改成3000只往下滚了一次,就不滚了,这个问题真的难解决吗?

这个要解决的话,要加个新动作
举报 使用道具
8#
persistfei 初级会员 发表于 2017-4-18 16:04:03 | 只看该作者
Fuller 发表于 2017-4-18 16:02
这个要解决的话,要加个新动作

怎么加,加什么,现在能解决吗
举报 使用道具
9#
persistfei 初级会员 发表于 2017-4-18 16:25:54 | 只看该作者
Fuller 发表于 2017-4-18 16:02
这个要解决的话,要加个新动作

加什么,目前的版本能解决吗或者说有其他方法没,我看个上面有个网友说另外一个方法?
举报 使用道具
10#
Fuller 管理员 发表于 2017-4-18 16:31:25 | 只看该作者
persistfei 发表于 2017-4-18 16:25
加什么,目前的版本能解决吗或者说有其他方法没,我看个上面有个网友说另外一个方法?
...

要开发新功能。滚轮采集到的都是重复的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-27 16:12