快捷导航
5 1114

爬取亚马逊美国站

QAQ5_2_6 于 2019-6-12 12:06 发表 [复制链接]
为什么网页源代码上显示了100项商品,但是我爬取的html文件中只显示20项,如何能够把所有项目信息获取到
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2019-7-1 10:22

Fuller 管理员 发表于 2019-6-12 12:07:27 | 显示全部楼层
你用python编程吗?要用能动态解析网页的driver,因为网页内容并不是一开始静态加载好的,一般还需要自动滚屏才能显示更多内容
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-12 12:09:31 | 显示全部楼层
是用python的,要用什么库吗
举报 使用道具
Fuller 管理员 发表于 2019-6-12 15:08:40 | 显示全部楼层
QAQ5_2_6 发表于 2019-6-12 12:09
是用python的,要用什么库吗

这里有一组文章,在关键技术的第二篇讲到动态网页的采集方法:https://www.gooseeker.com/doc/thread-1824-1-1.html
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-13 08:32:43 | 显示全部楼层
好的,谢谢
举报 使用道具
Fuller 管理员 发表于 2019-7-1 10:22:14 | 显示全部楼层
现在集搜客有现成的快捷工具,可以采集亚马逊美国站的商品和评论。下载爬虫软件后,把网址添加到美国亚马逊快捷工具,即可采集。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集知乎上关于华为鸿蒙的问题和回答
  • 分词和分类检索平台使用手册
  • 用爬虫采集机场出租车进场出场数据的公告
  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明

热门用户

GMT+8, 2019-9-21 00:58