一级,二级,都好了,然后怎么用DS打数机进行抓取?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2015-9-12 12:11

wangyong 版主 发表于 2015-8-27 10:33:22 | 显示全部楼层
先抓取第一级页面,抓取第一级页面中的第二级网页的网址,这些网址会自动生成第二级的线索。在第一级为第二级生成许多线索后再进行第二级提取。
举报 使用道具
gooseeker_info 金牌会员 发表于 2015-8-27 10:48:50 | 显示全部楼层
DS打数机可以并行运行多个线程,两级之间没有依赖关系,可以分别执行,当然,通常只有先运行了第一级以后才能有第二级的线索,但是,这并不是说一定要有先后顺序
举报 使用道具
ym 版主 发表于 2015-9-7 10:08:08 | 显示全部楼层
抓第二级页面先右击规则名,选线索统计,就知道第一级给第二级生成了多少条线索网址,然后再输入要抓的线索数量抓第二级页面
举报 使用道具
huang2891526 新手上路 发表于 2015-9-12 11:19:04 | 显示全部楼层
gooseeker_info 发表于 2015-8-27 10:48
DS打数机可以并行运行多个线程,两级之间没有依赖关系,可以分别执行,当然,通常只有先运行了第一级以后才 ...

您好,咱们这个能够判定第一级下载下载完后自动运行第二级的线索吗?
举报 使用道具
gooseeker_info 金牌会员 发表于 2015-9-12 12:11:19 | 显示全部楼层
huang2891526 发表于 2015-9-12 11:19
您好,咱们这个能够判定第一级下载下载完后自动运行第二级的线索吗?

两级之间运行的时候没有先后顺序,也不会自动在完成第一级后启动第二级,需要你自己去安排,比如,用crontab.xml进行调度
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 17:22