快捷导航
目前在做美团网站,商家列表信息的抓取。
看了教程(列表翻页采集),
美团的翻页是class,一直获取不到,一直抓取同一页的数据信息。

有没有大神,知道怎么如何获取下一页?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2019-9-10 12:08

qq313178577 初级会员 发表于 2019-9-9 18:41:22 | 显示全部楼层
E07FCA116AD35635DB7733A55E5612D6.jpg
举报 使用道具
maomao 金牌会员 发表于 2019-9-9 18:56:36 | 显示全部楼层
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html
举报 使用道具
qq313178577 初级会员 发表于 2019-9-9 19:03:24 | 显示全部楼层
maomao 发表于 2019-9-9 18:56
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~
举报 使用道具
Fuller 管理员 发表于 2019-9-9 22:01:07 | 显示全部楼层
qq313178577 发表于 2019-9-9 19:03
这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~

我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务名,我可以加载分析你的规则
举报 使用道具
qq313178577 初级会员 发表于 2019-9-10 10:07:12 | 显示全部楼层
Fuller 发表于 2019-9-9 22:01
我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务 ...

您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

任务名称:Key-孟州美团列表
举报 使用道具
Fuller 管理员 发表于 2019-9-10 11:15:41 | 显示全部楼层
qq313178577 发表于 2019-9-10 10:07
您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

我发现这个网页在集搜客浏览器里面即使手工点击,也不能翻页,我估计是集搜客浏览器不直至这个网站
举报 使用道具
Fuller 管理员 发表于 2019-9-10 11:19:38 | 显示全部楼层
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过
举报 使用道具
qq313178577 初级会员 发表于 2019-9-10 12:08:02 | 显示全部楼层
Fuller 发表于 2019-9-10 11:19
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过 ...

我再试试,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 网络爬虫采集html片段时无法生成结果文件怎
  • 网络爬虫占满了c盘怎么清理
  • 为什么采集速卖通用户评论翻页不了
  • 多级规则执行连续动作而输入动作不在第一级
  • 特征工程入门介绍

热门用户

GMT+8, 2019-12-12 04:02