集搜客GooSeeker网络爬虫

标题: 一个规则可以抓取网页结构相同多个页面，并不是一个规则只能抓一个页面 [打印本页]

作者: wangyong 时间: 2015-11-24 17:01
标题: 一个规则可以抓取网页结构相同多个页面，并不是一个规则只能抓一个页面
本帖最后由 xandy 于 2017-1-4 11:13 编辑

大家在抓数据的时候，需要抓取多个网页结构相同的页面数据时，比如既要抓取天猫手机搜索列表的价格、名称，又要抓取电脑搜索列表的价格名。
这种情况只需做一个抓取规则就行，不用针对手机做一个又对电脑做一个，因为都是抓取天猫搜索列表的数据，网页结构是相同的，在规则制作好之后，再往规则里添加线索就行。
线索简单来说就是一个网址，如果以天猫搜索手机的网址作为样本页面制作规则，那天猫搜索电脑的网址就可以作为一条线索添加到打数机中进行抓取。
添加线索的两中方式：

作者: hellomonkey 时间: 2016-3-9 09:01
本帖最后由 hellomonkey 于 2016-3-9 09:02 编辑

导入线索以后好像不会自动跳转下一线索？求问是怎么解决这个问题的？

作者: Fuller 时间: 2016-3-9 09:39

hellomonkey 发表于 2016-3-9 09:01
导入线索以后好像不会自动跳转下一线索？求问是怎么解决这个问题的？

如果你是说同一个规则的多个线索，那么不是自己跳，而是
1，如果你使用手工启动DS打数机的单搜或者集搜，输入线索数量，输入几就抓几个网页
2，如果你使用爬虫群功能，那么在会员中心配置每批多少线索，爬虫群会连续运行，一批批抓

作者: hellomonkey 时间: 2016-3-9 10:16

Fuller 发表于 2016-3-9 09:39
如果你是说同一个规则的多个线索，那么不是自己跳，而是
1，如果你使用手工启动DS打数机的单搜或者集搜， ...

原来如此我去试一下谢谢回复！

作者: molinghanxin 时间: 2016-3-10 10:32

Fuller 发表于 2016-3-9 09:39
如果你是说同一个规则的多个线索，那么不是自己跳，而是
1，如果你使用手工启动DS打数机的单搜或者集搜， ...

为什么我用了集搜还是不会自动跳转页面呢？

作者: Fuller 时间: 2016-3-10 11:23

molinghanxin 发表于 2016-3-10 10:32
为什么我用了集搜还是不会自动跳转页面呢？

你是不是说的这个问题：http://www.gooseeker.com/doc/thread-1492-1-1.html
我为你解答了

作者: addreamerXZR 时间: 2016-7-10 21:27
这个功能好！

作者: haoxindz 时间: 2017-7-24 23:09
不错哦

作者: delia1993 时间: 2017-11-6 15:10
学习了

作者: 1455982215 时间: 2017-11-17 20:16
大厦阿三大厦阿三

作者: shujukeji 时间: 2017-11-21 15:21
...

作者: ssoonzero 时间: 2017-11-27 17:34
服了，新输入的线索根本不显示出来，都不知道自己加了些啥线索，这个工具的开发真是烂的无语

作者: umsung 时间: 2017-11-27 17:47

ssoonzero 发表于 2017-11-27 17:34
服了，新输入的线索根本不显示出来，都不知道自己加了些啥线索，这个工具的开发真是烂的无语 ...

从基础开始学起，这里是全部的学习教程

作者: 白日梦林夕 时间: 2017-12-5 09:26
为什么我用时微博不会跳转？

作者: umsung 时间: 2017-12-5 09:45
本帖最后由 umsung 于 2017-12-5 09:52 编辑

白日梦林夕发表于 2017-12-5 09:26
为什么我用时微博不会跳转？

如果是抓完一个网页后不跳转到下一个网页，可以参考这个http://www.gooseeker.com/doc/thread-1492-1-1.html

作者: zyx1995 时间: 2018-1-4 16:05
怎么抓取整个页面的源代码啊？

作者: 数据集二期 时间: 2018-1-4 16:45

zyx1995 发表于 2018-1-4 16:05
怎么抓取整个页面的源代码啊？

参考《采集网页html源码》

作者: wangyong 时间: 2019-11-1 16:11
做不同规则编号的规则时，要找到没种网页不同的点，做上抓取内容再勾上关键内容，这样爬虫就会自动选择采用哪个规则

作者: 15964002091 时间: 2021-8-8 20:09
请问如何抓取评论，每个页面需要点击商品评论才能展示评论，如何在抓取内容前面设置点击商品评论

作者: 15964002091 时间: 2021-8-8 20:10
请问如何抓取评论，每个页面需要点击商品评论才能展示评论，如何在抓取内容前面设置点击商品评论

作者: 15964002091 时间: 2021-8-8 20:11
请问如何抓取评论，每个页面需要点击商品评论才能展示评论，如何在抓取内容前面设置点击商品评论

作者: gz51837844 时间: 2021-8-8 21:55
在这个帖子里已经回复了：如何抓取商品评论

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)