目录
- 快捷采集
- 初级教程(新版)
- 初级教程(老版)
- 数据转Excel处理
- 爬虫规则管理
- 高级教程(新版)
- 高级教程(老版)
- 用爬虫群分布式高效采集
- 爬虫关键知识拓展
- 问题集锦
- 实战演练案例
- 爬虫安装说明
- 关于集搜客
集搜客交流群
2000人群:点击加入
一个规则可以抓取网页结构相同多个页面,并不是一个规则只能抓一个页面
[i=s] 本帖最后由 xandy 于 2017-1-4 11:13 编辑 [/i] 大家在抓数据的时候,需要抓取多个网页结构相同的页面数据时,比如既要抓取天猫手机搜索列表的价格、名称,又要抓取电脑搜索列表的价格名。这种情况只需做一个抓取规则就行,不用针对手机做一个又对电脑做一个,因为都是抓取天猫搜索列表的数据,网页结构是相同的,在规则制作好之后线索简单来说就是一个网址,如果以天猫搜索手机的网址作为样本页面制作规则,那天猫搜索电脑的网址就可以作为一条线索添加到打数机中进行抓取url=http://www.gooseeker.com/doc/article-129-1.html]怎样添加新的线索网址
抓取下级网址多了这个东西
[attach]1844[/attach] 客服帮忙看一下,为什么会多了这个东西,导致找不到下级了
怎么抓取整个网页?
我现在有个课程作业,需要大量的网页做搜索引擎, 我想爬取百度在某一关键词下出现的所有网页内容(html文件),应该怎么做
抓取多页网页数据,如何避免最后重复抓取??
到最后一页,一直抓取,我设置了高级选项重复项退出,可是还是多抓了两页才退出,怎么办
抓取淘宝商品有的网址多了个东西
采集规则做好后,在工作台测试的时候,发现淘宝商品的链接网址多了几个&;,对采集会有影响吗?
多个关键词抓取出错
我的采集任务叫“油气储运关键词检索”,在输入动作里设置了多个关键词,用“;;”分隔,但是运行结果并不是按输入的关键词检索的
要抓取多少网页?请输入线索数
是想要抓多少网页,就要输入多少线索数吗?
抓取了1000个网址作为下级线索,但二级页面抓取时统计线索只有400多条?
如图所示,抓取1000个APP的链接作为下级线索,并在二级页面抓取相关信息,但在二级抓取时统计线索显示只有400多条线索,另:我用的直接翻页的设置,没有连续动作设置。
抓取多个套餐价格问题,只能抓到第一个
任务名:健客网第四层样例页面:[url]https://www.jianke.com/product/7159.html[/url] 现在抓取该页面的各个套餐的价格,现在我测试的时候直接点击第二个套餐,再刷新页面后写了xpath://*[@class='specif jk_xztz']//*[@class='active_a'],点击测试,输出内容还是第一个套餐的数据,是什么问题,并且这个xpath定位到两个节点,我不明白为啥会这样,请教下技术人员,麻烦了
两个网页不同节点怎么抓取?
两个网页,a中有某个节点,b中无这个节点,请问怎么解决?
小白问题,同一规则多个页面抓取失败,求助!!
我是同一个规则 然后也激活了全部线索,抓取完第一个网页之后就发现不跳网页了。。。如图 我要怎么做才能让他自己跳转网页抓取
怎么实现多页的抓取?
我可以抓取一页内多个列表的内容,但是如果有很多页,怎么自动抓下来呢?有没有现成的教程??
多次点击后的网址抓取
www.indiegogo.com/projects/gligo-e-ink-smartwatch-hassle-free-with-style#/]这个页面[/url]里点击多次最后抓取发起人介绍网址(即最后一张图所在的网址)如何进行 [attach]9810[/attach
爬取多个网页会不会因为网页刷新慢而没办法爬到所有数据?
爬取多个网页会不会因为网页加载慢而没办法爬到所有数据?[attach]4784[/attach] 上图是我打开采集的网页,发现数据是有的,就是没采集全。