采集数据—常见问题导航

常见问题 > 采集数据—常见问题导航

注意：超时时长一般不要修改 ，这是GooSeeker的独特优势，跟大型网络爬虫（比如，百度）一样，具有自适应算法。

• 采集过程的常见问题
• 登录网站再采集的方法
• 并发采集方法
• 设置采集速度
• 定时采集数据
• 线索网址管理
• 关于日志的报错
  

使用快捷采集，不用做规则，输入网址就能采集，快捷采集入口：https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E7%BD%91%E7%AB%99&web=%E6%96%B0%E6%B5%AA%E5%BE%AE%E5%8D%9A&rule=%20TA%E7%82%B9%E8%B5%9E%E8%BF%87%E7%9A%84%E5%BE%AE%E5%8D%9A%E6%95%B0%E6%8D%AE

打包后下载了显示压缩文件已损坏请问是什么问题？

cerulean 发表于 2017-12-19 22:18
打包后下载了显示压缩文件已损坏请问是什么问题？

可以重新下载，可以下载很多次，下载的时候不要用迅雷等下载工具，用浏览器自己的下载功能就可以了。有时候有些杀毒软件会对下载的内容做修改，会造成文件损坏

在分页采集时如何只采集部分页面

两种信息在同一列，如何分开采集

liuxing123 发表于 2019-3-16 19:02
在分页采集时如何只采集部分页面

在单搜或者集搜这种手工启动的模式下，只能用眼睛看着，采集够了就关闭DS打数机窗口。而在爬虫群模式下，可以设置翻页次数，参看《如何运行爬虫群》，有个参数“同一线索内翻页次数”

liuxing123 发表于 2019-3-16 20:35
两种信息在同一列，如何分开采集

如果在同一个text节点中，还想分开，要看具体情况，如果两种信息之间有特定的分隔符，才好分开：
1，方法一：用自定义xpath函数，substring-after()和substring-before()
2，方法二：采集完成后，导出excel格式的结果，用excel的分列方式分成两列

我倾向于第二种方式。excel有各种强大的函数，可以做很多数据清洗、数据分析等运算

请问一下单搜和集搜的区别是什么？谢谢！

liuxing123 发表于 2019-3-17 08:36
请问一下单搜和集搜的区别是什么？谢谢！

单搜：只有一个DS打数机窗口，如果运行任务A，他就把这个窗口占了，如果同时点击任务B的单搜，B就会把A挤出去
集搜：20个DS打数机窗口可以同时运行。在左栏任务列表中，总共能显示20行任务，给每一行对应了一个集搜窗口，所以，可以同时运行20个集搜窗口，让他们的任务同时运行

请问，在没有“下一页”标记的页面，如，只有三页的情况下，翻页采集的翻页记号如何选取？谢谢！