快捷导航
目前在做美团网站,商家列表信息的抓取。
看了教程(列表翻页采集),
美团的翻页是class,一直获取不到,一直抓取同一页的数据信息。

有没有大神,知道怎么如何获取下一页?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 7 天前

qq313178577 新手上路 发表于 2019-9-9 18:41:22 | 显示全部楼层
E07FCA116AD35635DB7733A55E5612D6.jpg
举报 使用道具
maomao 金牌会员 发表于 2019-9-9 18:56:36 | 显示全部楼层
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html
举报 使用道具
qq313178577 新手上路 发表于 2019-9-9 19:03:24 | 显示全部楼层
maomao 发表于 2019-9-9 18:56
这里有个类似帖子,你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~
举报 使用道具
Fuller 管理员 发表于 2019-9-9 22:01:07 | 显示全部楼层
qq313178577 发表于 2019-9-9 19:03
这个帖子,我看了。 也修改了UserAgent。 还是不行,55555~

我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务名,我可以加载分析你的规则
举报 使用道具
qq313178577 新手上路 发表于 7 天前 | 显示全部楼层
Fuller 发表于 2019-9-9 22:01
我加载了你的规则“Key-孟州美团列表”,但是没有看到你定义的翻页规则。你把规则存一下,然后告诉我任务 ...

您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

任务名称:Key-孟州美团列表
举报 使用道具
Fuller 管理员 发表于 7 天前 | 显示全部楼层
qq313178577 发表于 2019-9-10 10:07
您好,我昨天晚上您看之前,我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

我发现这个网页在集搜客浏览器里面即使手工点击,也不能翻页,我估计是集搜客浏览器不直至这个网站
举报 使用道具
Fuller 管理员 发表于 7 天前 | 显示全部楼层
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过
举报 使用道具
qq313178577 新手上路 发表于 7 天前 | 显示全部楼层
Fuller 发表于 2019-9-10 11:19
美团这个网站对useragent是很敏感的,也许应该换一下useragent试试。有些useragent永远验证不通过 ...

我再试试,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集知乎上关于华为鸿蒙的问题和回答
  • 分词和分类检索平台使用手册
  • 用爬虫采集机场出租车进场出场数据的公告
  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明

热门用户

GMT+8, 2019-9-17 23:10