两条主题:kaku_bbs_three 和 kaku_bbs_three_content 第一天主题抓取成功后,再用kaku_bbs_three_content抓取的时候 只能抓到一条数据,不知道哪儿出现问题了。
一个页面有两个下一页怎么办...
DataScraper只用第一个找到的“下一页”,如果页面上有多个,而且每个的含义都不一样,就得调整一下SCE规则。在Clue Editor工作台上点击viewSCE,看看生成的翻页抓取规则是否合适,不合适就要调整一下
但也只能到一条线索 怎样把4000多条线索全部抓出来?
在DataScraper上,启动抓取的时候要求输入一个数字,输入一个大于1的数字就是抓多条
我输入的是4836貌似 但不好使 只抓到第一个
DataScraper菜单“线索”-〉“统计”,可以看到有多少个处于start状态,这些就是需要抓取的。抓取一遍后,成功的话就变成“其他”状态了,不能再抓取了,除非重新激活。比如,再抓取一遍第一级
还有个问题
一个页面有两个下一页怎么办...
有多少个下一页不影响
DataScraper只用第一个找到的“下一页”,如果页面上有多个,而且每个的含义都不一样,就得调整一下SCE规则。在Clue Editor工作台上点击viewSCE,看看生成的翻页抓取规则是否合适,不合适就要调整一下
目前可以抓一条线索的数据了
但也只能到一条线索 怎样把4000多条线索全部抓出来?
输入合适的线索数量
在DataScraper上,启动抓取的时候要求输入一个数字,输入一个大于1的数字就是抓多条
RE
我输入的是4836貌似 但不好使 只抓到第一个
先查看有多少个线索
DataScraper菜单“线索”-〉“统计”,可以看到有多少个处于start状态,这些就是需要抓取的。抓取一遍后,成功的话就变成“其他”状态了,不能再抓取了,除非重新激活。比如,再抓取一遍第一级