怎样使用快捷采集（以采集京东评论为例）

这个好用吗，还没有试过呢

schen30 发表于 2019-1-4 17:29
这个好用吗，还没有试过呢

挺好用的。就是在使用前，要先下载集搜客爬虫，用爬虫浏览器打开上面的快捷采集页面

京东商品评论只能爬取前100页的，请问有办法获得更多评论数据吗？?

xiaoyuanali 发表于 2019-1-8 21:28
京东商品评论只能爬取前100页的，请问有办法获得更多评论数据吗？?

这是京东网站本身的限制

还是不错的爬虫技术，但是用着有时会有点卡。

我打开示例页面，然后输入想查询的字段，把新页面网址黏贴到地址栏里，启动爬虫后显示匹配失败。这是怎么回事呢？
https://www.amazon.cn/s?k=%E4%B8%80%E5%B8%A6%E4%B8%80%E8%B7%AF&i=stripbooks&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&ref=nb_sb_noss

东皇田馥 发表于 2019-4-10 16:50
我打开示例页面，然后输入想查询的字段，把新页面网址黏贴到地址栏里，启动爬虫后显示匹配失败。这是怎么回 ...

这个快捷工具需要维护一下，改好了，通知你

东皇田馥 发表于 2019-4-10 16:50
我打开示例页面，然后输入想查询的字段，把新页面网址黏贴到地址栏里，启动爬虫后显示匹配失败。这是怎么回 ...

亚马逊中国商品列表的快捷工具已经维护好了，可以使用了

Fuller 发表于 2019-4-10 18:11
亚马逊中国商品列表的快捷工具已经维护好了，可以使用了

好的 谢谢回复
再请问下，我想采的页面中，需要滚屏到下面一点再采瀑布流的数据，请问这个如何实现？

东皇田馥 发表于 2019-4-11 16:44
好的 谢谢回复
再请问下，我想采的页面中，需要滚屏到下面一点再采瀑布流的数据，请问这个如何实现？
...

这个有点麻烦，要具体看网页情况，要组合使用各种动作。
因为爬虫不知道要下去多大程度。有个技巧可以试试。增加一个点击动作，你想滚动到那一屏的中间位置找个元素，点击它，这个点击动作勾上模拟点击，模拟点击这个动作会先做滚屏定位，一般会把被点击的内容尽量滚动到中间位置。这样就实现了往下滚一些的目的