页面内容有变化怎么办

加为好友

页面部分内容与在浏览器打开的不同，如浏览器中知乎登陆后才有显示浏览数，但导入网址后就没有这一部分。

shenzhenwan10 · 发表于 2016-10-17 18:13:33

做规则的时候使用那个显示最全内容的页面来做
爬取的时候即使部分页面内容没有也不会影响出结果

Fuller · 发表于 2016-10-17 18:20:14

shenzhenwan10 发表于 2016-10-17 18:13
做规则的时候使用那个显示最全内容的页面来做
爬取的时候即使部分页面内容没有也不会影响出结果 ...

对于时有时无的抓取内容，千万不要设置“关键内容”，否则遇到没有内容的网页就会失败。

Fuller · 发表于 2016-10-17 18:21:40

不用担心登录前和登录后的区别问题。在运行爬虫之前，先在浏览器中登录好，如果用的是火狐插件版，那么在火狐浏览器中登录好；如果用的是GS爬虫浏览器版，那么就在GS浏览器中登录好。然后在运行爬虫，那么登录状态就会一直保持

共 3 个关于本帖的回复最后回复于 2016-10-17 18:21

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页