美团外卖的爬取

各位大神请教下 由于字节设置无法截图了 就是想问问
1.想采集店铺名称 但是他这里面是点击加载更多商家才能出现更多商家 请问这时候翻页怎么设置？
2.想采集店铺电话  就是光标浮动到店铺名称或图片上才能显示电话 这时候在怎么爬取？

如果是“点击加载更多”这样的标志，跟“下一页”是一样的，按照翻页规则来做就行了。具体参看：https://www.gooseeker.com/doc/article-334-1.html

悬浮内容的采集要用悬浮动作，参看：https://www.gooseeker.com/doc/article-380-1.html

Fuller 发表于 2018-8-24 12:20
如果是“点击加载更多”这样的标志，跟“下一页”是一样的，按照翻页规则来做就行了。具体参看：https://ww ...

好的

Fuller 发表于 2018-8-24 12:20
如果是“点击加载更多”这样的标志，跟“下一页”是一样的，按照翻页规则来做就行了。具体参看：https://ww ...

那个 抓取的时候还是第一层只能显示第一页 再往下抓取就显示抓取失败 有什么解决办法么？

Fuller 发表于 2018-8-24 12:20
如果是“点击加载更多”这样的标志，跟“下一页”是一样的，按照翻页规则来做就行了。具体参看：https://ww ...

我都试了 还是只能截到第一个 文本还有其他都试了 能帮忙看看么 主题名是群力外卖

levizhang 发表于 2018-8-24 13:35
我都试了 还是只能截到第一个 文本还有其他都试了 能帮忙看看么 主题名是群力外卖

...

问题出在绝对定位上，你看生成xpath这么长（左边箭头），网页上面只要稍微一调整就会影响到规则的适应性。所以，一方面，尽量不要用绝对定位；另一方面，通过定位标志映射，手工选择最好的定位标志，可以提高规则的适应性。定位标志映射的教程是：https://www.gooseeker.com/doc/article-344-1.html

电商网站特别好采集，因为每个内容都有很合适的定位标志，通常我们把@class和@id称为定位标志，用上他们以后，生成的xpath就会很短，就是从含有这个标志的节点开始写xpath，这样网页上多一个少一个节点不会影响规则

你定义了一个悬浮动作，悬浮能做显示什么？

你是不是想在第二级上面做悬浮动作？

我还发现一个问题，采集美团要换UserAgent，否则就被封锁了。可能采集一定时间以后，要换一下UserAgent，清一下cookie