采集数据过程一直提示爬虫参数还有优化空间

任务名：
京东家具2
京东家具3

已经勾选定时器触发，取消了加载插件和图片，滚屏次数2，速度2

还是提示可以优化

希望管理员可以看看是什么问题 谢谢你们~

没有取消加载 javascript吧？京东这种动态网页不能取消加载javascript

Fuller 发表于 2020-2-4 17:13
没有取消加载 javascript吧？京东这种动态网页不能取消加载javascript

没有取消 JS

首先，我建议修改一下第一级规则的翻页区映射，如果那个区域的tab数量变了，第五个不是“评价”，你原先的规则就会不适应



我用那整条做翻页区映射，点击“查看规则”，可以看到生成的xpath没有包含position() = 5，红框中的是原先的xpath

京东家具3这个规则，你不翻页？我看这个规则现在只采集第一页

Fuller 发表于 2020-2-4 17:27
京东家具3这个规则，你不翻页？我看这个规则现在只采集第一页

不需要翻页 我只需要采集总评价数量 如好评度 差评数等 不需要采集内容

第二级规则，“商品名称”在网页上最顶上，而其他信息，在网页下面，如果不做定位标志映射，那么定位的起点是这两个离得很远的网页块的公共父节点，可以看到，生成的数据规则具有很长的xpath，适应性极差

Fuller 发表于 2020-2-4 17:24
首先，我建议修改一下第一级规则的翻页区映射，如果那个区域的tab数量变了，第五个不是“评价”，你原先的 ...

你好 这里我不太懂怎么修改= =可以再具体说一下嘛

Fuller 发表于 2020-2-4 17:30
第二级规则，“商品名称”在网页上最顶上，而其他信息，在网页下面，如果不做定位标志映射，那么定位的起 ...

好的 我查查怎么做定位标志映射 谢谢你

ponyma 发表于 2020-2-4 17:36
好的 我查查怎么做定位标志映射 谢谢你

我建议这样修改：
1，除了“商品名字”，其他的都放在一个子整理箱中，在商品名字后面创建一个新的抓取内容，勾上关键内容，然后把后面的那些抓取内容依次选中，用鼠标右键“右移”，移到子整理箱中
2，给他们分别做上定位标志映射。参看教程：https://www.gooseeker.com/doc/article-344-1.html