快捷导航
4 216

爬取亚马逊美国站

QAQ5_2_6 于 2019-6-12 12:06 发表 [复制链接]
为什么网页源代码上显示了100项商品,但是我爬取的html文件中只显示20项,如何能够把所有项目信息获取到
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-6-13 08:32

Fuller 管理员 发表于 2019-6-12 12:07:27 | 显示全部楼层
你用python编程吗?要用能动态解析网页的driver,因为网页内容并不是一开始静态加载好的,一般还需要自动滚屏才能显示更多内容
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-12 12:09:31 | 显示全部楼层
是用python的,要用什么库吗
举报 使用道具
Fuller 管理员 发表于 2019-6-12 15:08:40 | 显示全部楼层
QAQ5_2_6 发表于 2019-6-12 12:09
是用python的,要用什么库吗

这里有一组文章,在关键技术的第二篇讲到动态网页的采集方法:https://www.gooseeker.com/doc/thread-1824-1-1.html
举报 使用道具
QAQ5_2_6 初级会员 发表于 2019-6-13 08:32:43 | 显示全部楼层
好的,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键
  • 用于清洗文本内容的Excel函数公式
  • 用网络爬虫采集小红书的笔记

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-6-27 20:52