访问页面后面有个rememberurl是什么情况

中秋2016

爬百度糯米的时候，进入详情页后网址后面有个rememberurl，是什么情况

中秋2016 · 发表于 2016-12-3 21:43:26

我把列表页里的网址都爬出来，用层级去爬，结果发现数据都是相同的

scraper · 发表于 2016-12-3 21:44:57

估计直接访问网站有反扒措施
这种情况不能用层级，要用连续动作，一个个点进去，模拟人的操作

Fuller · 发表于 2016-12-3 22:20:59

不少网站的url看起来是独立url，但是直接访问就不行，需要沿着特定的访问路径才行，比如，最简单的，url参数中加一个时间戳就可以判断出这个网址是否失效了，只能是当时点击时有效

共 3 个关于本帖的回复最后回复于 2016-12-3 22:20

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页