豆瓣影评爬取错误

我在爬取豆瓣数据的时候，我的复制样例，但是在每一页的影评的最后一个都没有办法爬取，请问是为什么？

主题名是什么？

xandy 发表于 2017-2-15 14:43
主题名是什么？

福根儿

采集豆瓣数据，推荐你用官方的DIY工具进行豆瓣网站的数据采集，不需要自己做规则，只需要将网址或关键词添加进任务，爬虫就可以自动跑起来了。

xandy 发表于 2017-2-15 14:45
采集豆瓣数据，推荐你用官方的DIY工具进行豆瓣网站的数据采集，不需要自己做规则，只需要将网址或关键词添 ...

但是我希望根据用户来爬取，官方的是根据电影名来爬取的

changjiangeng 发表于 2017-2-15 14:47
但是我希望根据用户来爬取，官方的是根据电影名来爬取的

你的样例复制找错了
应该是第一个影评和第二个影评做样例复制
你是用了第二个和第三个

changjiangeng 发表于 2017-2-15 14:47
但是我希望根据用户来爬取，官方的是根据电影名来爬取的

是的，你的样例没做好，如下图所示，找到列表中第一个对应DOM树中的UL节点，将其样例复制给第一个，同理，将第二个UL样例映射给第二个。

另外，你这个规则还有一个问题就是给“评分”加上定位标志映射，这样评分就不会抓漏了。

HJLing 发表于 2017-2-15 14:53
你的样例复制找错了
应该是第一个影评和第二个影评做样例复制
你是用了第二个和第三个

谢谢

xandy 发表于 2017-2-15 14:58
是的，你的样例没做好，如下图所示，找到列表中第一个对应DOM树中的UL节点，将其样例复制给第一个，同理 ...

谢谢

xandy 发表于 2017-2-15 14:58
是的，你的样例没做好，如下图所示，找到列表中第一个对应DOM树中的UL节点，将其样例复制给第一个，同理 ...

请问你这个定位标记映射是怎么做出来的？