【天猫商品搜索列表采集】#GooSeeker数据DIY#

bqq239 · 发表于 2019-5-5 20:41:43

maomao 发表于 2019-4-24 09:15
看看这篇帖子的处理方法，https://www.gooseeker.com/doc/thread-11667-1-1.html

想请问一下如何爬取天猫按时间顺序排序的商品评论数据，现在爬取的是按默认顺序来的

minkyung · 发表于 2019-11-7 13:52:04

请问无效HTTPS导致网站显示的不完全要怎么解决呢？

小蜜蜂测试16 · 发表于 2019-11-7 14:18:06

minkyung 发表于 2019-11-7 13:52
请问无效HTTPS导致网站显示的不完全要怎么解决呢？

是天猫网站的内容显示的不完全吗？

minkyung · 发表于 2019-11-7 14:27:50

小蜜蜂测试16 发表于 2019-11-7 14:18
是天猫网站的内容显示的不完全吗？

对，网站应该这样显示才对

但是我在gooseeker打开的话会这样

应该是这个导致我采集不了结果吧？
我该怎么解决呢

小蜜蜂测试16 · 发表于 2019-11-7 14:46:33

minkyung 发表于 2019-11-7 14:27
对，网站应该这样显示才对
但是我在gooseeker打开的话会这样
应该是这个导致我采集不了结果吧？

可以按照上图的方法清除一下cookie

不过这样显示的话应该是可以抓取成功的，你把网址发出来，我测试一下

sipple · 发表于 2019-12-7 20:42:31

采集天猫评论，我点了全部但是只采集到的280条不到是为什么

Fuller · 发表于 2019-12-7 22:47:08

sipple 发表于 2019-12-7 20:42
采集天猫评论，我点了全部但是只采集到的280条不到是为什么

采集天猫之前，要在集搜客浏览器上登录天猫。爬虫运行的时候，观察一下有没有翻页采集？

zhangyunding · 发表于 2019-12-12 11:51:46

评论完全抓取不到呀

Fuller · 发表于 2019-12-12 12:23:35

zhangyunding 发表于 2019-12-12 11:51
评论完全抓取不到呀

在抓取之前，要在集搜客浏览器中登录天猫，然后再运行爬虫

抓取失败的商品网址是什么？发出来我测试一下

是圆周率那个pi · 发表于 2020-4-20 15:18:45

为什么显示“已采集”但是打包数据是0条？

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页