美团列表-获取下一页节点

qq313178577

目前在做美团网站，商家列表信息的抓取。
看了教程（列表翻页采集），
美团的翻页是class，一直获取不到，一直抓取同一页的数据信息。

有没有大神，知道怎么如何获取下一页？

qq313178577 · 发表于 2019-9-9 18:41:22

maomao · 发表于 2019-9-9 18:56:36

这里有个类似帖子，你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

qq313178577 · 发表于 2019-9-9 19:03:24

maomao 发表于 2019-9-9 18:56
这里有个类似帖子，你可以看看https://www.gooseeker.com/doc/thread-11460-1-1.html

这个帖子，我看了。也修改了UserAgent。还是不行，55555～

Fuller · 发表于 2019-9-9 22:01:07

qq313178577 发表于 2019-9-9 19:03
这个帖子，我看了。也修改了UserAgent。还是不行，55555～

我加载了你的规则“Key-孟州美团列表”，但是没有看到你定义的翻页规则。你把规则存一下，然后告诉我任务名，我可以加载分析你的规则

qq313178577 · 发表于 2019-9-10 10:07:12

Fuller 发表于 2019-9-9 22:01
我加载了你的规则“Key-孟州美团列表”，但是没有看到你定义的翻页规则。你把规则存一下，然后告诉我任务 ...

您好，我昨天晚上您看之前，我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

任务名称：Key-孟州美团列表

Fuller · 发表于 2019-9-10 11:15:41

qq313178577 发表于 2019-9-10 10:07
您好，我昨天晚上您看之前，我把我的翻页规则给删除了。
我现在又重新添加了一下。您看看。

我发现这个网页在集搜客浏览器里面即使手工点击，也不能翻页，我估计是集搜客浏览器不直至这个网站

Fuller · 发表于 2019-9-10 11:19:38

美团这个网站对useragent是很敏感的，也许应该换一下useragent试试。有些useragent永远验证不通过

qq313178577 · 发表于 2019-9-10 12:08:02

Fuller 发表于 2019-9-10 11:19
美团这个网站对useragent是很敏感的，也许应该换一下useragent试试。有些useragent永远验证不通过 ...

我再试试，谢谢

qq313178577 · 发表于 2020-6-21 11:06:38

共 19 个关于本帖的回复最后回复于 2020-6-24 12:55

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页