(1)
抓取数据的时候,一般我都设置成:
<*scrollWindowRatio>2
<*scrollMorePages>5
滚屏时间间隔是1/2秒 滚屏次数是5.
但是实际操作的时候,都是一直滚屏翻到页底。我把*scrollMorePages设置成2或者3,还是一样的效果。
PS:DataScrape是全屏模式
(2)抓取淘宝宝贝详细页面的数据(如,30天月销量)。
因为,一开始打开这个页面,30天月销量显示的是“-”,有个延迟之后才出现正确的数据。
设置了延长模式,同时我设置滚屏来延迟。
但是遇到的问题是,如果这个宝贝的页面描述内容很长,会一直滚屏,滚到最后,然后才开始抓取数据。这个时间太长了,效率比较低。
不知道是否可以加快抓取单个宝贝数据的时间,
比如,设置积极模式,抓取完,即使还在滚屏中,直接NEXT。或者是滚屏只要滚动3-4次就可以了。
滚屏数量只是一个参考数字
如果设置成2,不一定滚两次就停下来,为了提高效率,可以不滚屏,一旦滚屏,肯定会变慢很多
确实,但是需要一个延迟,才能等待数据加载出来
RT,不滚屏的话,数据基本就抓不到,抓到的大部分都是“-”,而不是数字。需要延迟一点点,滚屏延迟的时间太长了。
不知道这是否有其他方法可以解决?
针对这个现象,我的想法是,如果可以选择打开的网页不加在图片,就完美了,基本就可以解决呢,呵呵(即使滚屏也不会多久)
企业版可以选择是否加载图片
企业版可以选择是否加载图片,但是在线版没有这个功能