我需要采集一级界面的评论,但是还需要点到买家二级界面,采集买家的信息


是先采集完一级界面的所有产品评论,然后再采集二级界面的信息吗?那这样的话,将第一条产品的评论,和评论者的信息正好对应吗?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 24 个关于本帖的回复 最后回复于 2021-8-23 16:11

来自 25#
wangyong 版主 发表于 2021-8-23 16:11:40 | 只看该作者
本帖最后由 wangyong 于 2021-8-23 16:26 编辑

集搜客数据管家快捷采集可以直接采集亚马逊美国站数据,分别有亚马逊美国商品搜索列表亚马逊美国商品评论
下面以亚马逊美国商品评论为例,介绍美国亚马逊的方法
1,安装集搜客数据管家,从左侧工具条进入快捷采集

选择亚马逊美国商品评论,输入要采集的商品链接:https://www.amazon.com/Artify-Ca ... werType=all_reviews
选择采集全部,点击“获取数据按钮”,然后数据管家就开始自动采集数据了
2,在快捷采集管理中看到任务状态变为“已采集”后,点击打包按钮就可以下载Excel格式的数据了

3,数据展示:

举报 使用道具
沙发
xandy 论坛元老 发表于 2016-11-23 17:30:57 | 只看该作者
  • 一级页面(采集评论)和二级页面(评论详情),你要做两个规则,用到层级抓取(抓取一级页面进入二级页面的链接作为二级规则的线索),参看教程《采网址做层级采集—以大众点评为例》,然后同时运行这两个规则就行了
  • 关于匹配的问题,在1中我们知道两个规则之间的共同的联系就是链接,所以通过这个链接去匹配上去就行了

举报 使用道具
板凳
lucky半杯 中级会员 发表于 2016-11-23 20:04:33 | 只看该作者
xandy 发表于 2016-11-23 17:30
  • 一级页面(采集评论)和二级页面(评论详情),你要做两个规则,用到层级抓取(抓取一级页面进入二级页 ...

  • 上面和视频讲的不一样。第一次映射看视频说区域是黑色部分,帖子是红色部分。
    第二次是TEX映射

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    举报 使用道具
    地板
    xandy 论坛元老 发表于 2016-11-23 21:08:55 | 只看该作者
    lucky半杯 发表于 2016-11-23 20:04
    上面和视频讲的不一样。第一次映射看视频说区域是黑色部分,帖子是红色部分。
    第二次是TEX映射
    ...

    黑色那部分(包含整个页码区的)是给翻页线索定位的
    红色区块(包含‘下一页’的)里头的text()是拿来做记号线索的
    不要搞混了

    举报 使用道具
    5#
    Fuller 管理员 发表于 2016-11-23 21:42:30 | 只看该作者
    lucky半杯 发表于 2016-11-23 20:04
    上面和视频讲的不一样。第一次映射看视频说区域是黑色部分,帖子是红色部分。
    第二次是TEX映射
    ...

    记号线索就是
    1)先划定一个翻页区,就是黑色部分
    2)在翻页区里面根据记号(红色部分),找到“下一页”节点,点击他

    所以,要同时做两个映射:1)定位映射;2)记号映射
    举报 使用道具
    6#
    lucky半杯 中级会员 发表于 2016-11-23 22:13:11 | 只看该作者
    xandy 发表于 2016-11-23 21:08
    黑色那部分(包含整个页码区的)是给翻页线索定位的
    红色区块(包含‘下一页’的)里头的text()是拿来做记 ...

    你们写的2次分别是2个黑色箭头的指向,我觉得第一个黑色应该是红色方框的指向,第二个黑色箭头指向是正确的。

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    举报 使用道具
    7#
    xandy 论坛元老 发表于 2016-11-23 22:40:03 | 只看该作者
    本帖最后由 xandy 于 2016-11-23 22:42 编辑
    lucky半杯 发表于 2016-11-23 22:13
    你们写的2次分别是2个黑色箭头的指向,我觉得第一个黑色应该是红色方框的指向,第二个黑色箭头指向是正确 ...

    教程没错,你理解错了,上面那个图的教程指向“下一页”是为了告诉你怎么定位到整个页码的区块A节点(1、2、3步骤描述的很清楚,告诉你要怎么找到A节点),不是说用“下一页”来定位线索


    举报 使用道具
    8#
    ym 版主 发表于 2016-11-24 09:50:40 | 只看该作者
    本帖最后由 ym 于 2016-11-24 09:52 编辑
    lucky半杯 发表于 2016-11-23 22:13
    你们写的2次分别是2个黑色箭头的指向,我觉得第一个黑色应该是红色方框的指向,第二个黑色箭头指向是正确 ...

    黑色框和下一页所在的黄色区块都是包含了翻页按钮“下一页”,所以两者都可以作为翻页区块映射给记号线索,只是范围大小的区别而已。有时候翻页失败可能就是翻页区块的范围选择不合适,这时就要微调记号线索的映射范围了。

    举报 使用道具
    9#
    lucky半杯 中级会员 发表于 2016-11-24 13:33:27 | 只看该作者
    ym 发表于 2016-11-24 09:50
    黑色框和下一页所在的黄色区块都是包含了翻页按钮“下一页”,所以两者都可以作为翻页区块映射给记号线索 ...

    给你一个赞!

    举报 使用道具
    10#
    lucky半杯 中级会员 发表于 2016-11-24 13:33:40 | 只看该作者
    xandy 发表于 2016-11-23 22:40
    教程没错,你理解错了,上面那个图的教程指向“下一页”是为了告诉你怎么定位到整个页码的区块A节点(1、2 ...

    谢谢回复!!!

    举报 使用道具
    您需要登录后才可以回帖 登录 | 立即注册

    精彩推荐

    • 利用AI阅读和分析文本:扣子COZE记录用户反
    • 在网页片段内直观标注——以B站评论采集为
    • 利用AI阅读和分析文本:使用COZE建设游记文
    • 使用AI工具Kimi生成python代码为文本分析结
    • 苹果mac电脑安装集搜客网络爬虫软件失败的

    热门用户

    GMT+8, 2024-11-22 02:40