https://movie.douban.com/subject/5327189/?tag=%E7%83%AD%E9%97%A8&from=gaia
我想先在第一个页码采集数据,采集完后,通过模拟点击(全部评论),进入评论页码把所有评论爬下来。
现在的问题是:
我可以通过模拟点击,进入到评论页面,但不会翻到评论的第二页。
我单独用规则2对评论进行爬取,又可以正常翻页。
规则名:
伦敦_1
伦敦_2
还有个题外的问题。不知道我调过什么东西,我现在设置的翻页规则只能用“绝对定位”或者“只用id”。比如我要爬取人们对豆瓣某电影的所有评分,如果我选择两者之外的,我只能爬取到一种等级的评分(如5分),其他的(1、2、3、4)都爬不到。是我加了什么规则进去的原因吗?别人用相似的步骤去设定规则,他也不会出现这个问题。
|
|
|
|
|
共 3 个关于本帖的回复 最后回复于 2017-7-24 16:12