天猫二级抓取失败,参考了 《怎样采集淘宝宝贝的用户评论信息》 还是没成功。 主题 Tmall_lvdun_detail Tmall_lvdun_comment 我已经设置了AJAX选项,二级抓取还是失败,Fuller帮忙看下,麻烦了!
请问fuller,我的问题和天猫二级抓取失败的例子类似,我在天涯上抓了一级帖子后,再抓二级时统计的线索就只有一个了,我出现上述问题的二级scheme 有pa-pages,平安474-1530-pages,请您帮忙测试下怎么回事呢?我这边的网速时好时坏,用的无线,这个是一级主题是夜里爬行的,早上起来看到抓完了 就继续抓定义二级抓取,却看到只有一个线索了,前两天也出现了这个情况,所以请fuller解答一下啊
抓取天涯网站的一级主题是什么?
pa-pages没有给信息属性设置key特性
两个scheme一级名称分别是pa、平安476—1530 后来我发现二级抓取时忘记设key,后来在定义“平安476—1530-pages”抓取规则时补充上了key, 但还是不行啊 还想问问如果一级抓取完了,二级主题抓取只有一条线索,但已显示ready状态时,以后再次抓取二级scheme时,还要重新抓取一级后才能抓二级主题吗,还是可以直接修改这个二级定义规则后再抓取?
问题有二: 1,第一级要至少给一个信息属性设置key特性 2,在第一级中,指定第二级pa-pages,那就不可能给平安476—1530-pages生成线索
研究半天,发现一级抓取Tmall_lvdun_detail的模拟用户点击不起作用,二级抓取Tmall_lvdun_comment时一直没反应,但是手工点击用户评价后二级抓取顺利进行,不知道一级抓取主题哪里有问题啊。高手帮忙看看。
有两个问题: 1,Tmall_lvdun_detail,在Clue Editor工作台上,记号值” 月成交纪录“前面的那些空格删除 2,Tmall_lvdun_detail点击”月成交纪录“,但是Tmall_lvdun_comment是用来抓取用户评价的,对不上了
改了后,还是不行,感觉模拟点击还是不起作用,麻烦有空帮我再看看!
要从第一级Tmall_lvdun_detail开始抓取,不能从第二级开始抓取
我就是从第一级开始抓取的,只抓取了详情页后就没反应了,过好几分钟后就显示Timeout to load the page. 不自动运行第二级。
我原封不动地将这两个信息结构转存到我的服务器上进行了测试,测试效果很好。
这样检查问题: 1,用MetaStudio加载第一级的信息结构,是否能够加载成功,如果成功,进行第二步 2,用DataScraper抓取第一级,抓取之前在菜单上不选择“普通模式”,选择“全屏显示”,重新运行DataScraper能够看到占满整个屏幕。然后抓取第二级,观察浏览器窗口,能够看到自动跳到显示评论的位置(如果没有自动跳,可以拖动一下滚动条,看看评论内容是否显示了),如果评论内容一直不显示,说明第一级运行不正确,没有点击到“累计评价”
按照你的程序检查了 加载一级信息可以成功,然后用DataScraper抓取第一级,抓取之前没选择“普通模式”,选择了“全屏显示”,但是没有自动跳到显示评论的位置,没有点击到“累计评价”,不知道为什么,我为什么总是不成功。
以前有个朋友将超时时间设置的特别短,网速又慢,总是超时。超时时间设置成多少了?注意单位是毫秒
你的网速是多少? 用ADSL吗?
超时设置是默认600000,网速不是很好,用的无线。
信息属性“名称”保留key特性,其他两个信息属性的key特性都不要画勾,按理说就不应该出现timeout了
天涯二级抓取为什么只有一条线索?
请问fuller,我的问题和天猫二级抓取失败的例子类似,我在天涯上抓了一级帖子后,再抓二级时统计的线索就只有一个了,我出现上述问题的二级scheme 有pa-pages,平安474-1530-pages,请您帮忙测试下怎么回事呢?我这边的网速时好时坏,用的无线,这个是一级主题是夜里爬行的,早上起来看到抓完了 就继续抓定义二级抓取,却看到只有一个线索了,前两天也出现了这个情况,所以请fuller解答一下啊
抓取天涯网站的一级主题是什么
抓取天涯网站的一级主题是什么?
pa-pages没有给信息属性设置key特性
两个scheme一级名称分
两个scheme一级名称分别是pa、平安476—1530 后来我发现二级抓取时忘记设key,后来在定义“平安476—1530-pages”抓取规则时补充上了key, 但还是不行啊 还想问问如果一级抓取完了,二级主题抓取只有一条线索,但已显示ready状态时,以后再次抓取二级scheme时,还要重新抓取一级后才能抓二级主题吗,还是可以直接修改这个二级定义规则后再抓取?
两级没有连接起来
问题有二:
1,第一级要至少给一个信息属性设置key特性
2,在第一级中,指定第二级pa-pages,那就不可能给平安476—1530-pages生成线索
研究半天,发现一级
研究半天,发现一级抓取Tmall_lvdun_detail的模拟用户点击不起作用,二级抓取Tmall_lvdun_comment时一直没反应,但是手工点击用户评价后二级抓取顺利进行,不知道一级抓取主题哪里有问题啊。高手帮忙看看。
天猫月成交纪录和累积评价搞混了
有两个问题:
1,Tmall_lvdun_detail,在Clue Editor工作台上,记号值” 月成交纪录“前面的那些空格删除
2,Tmall_lvdun_detail点击”月成交纪录“,但是Tmall_lvdun_comment是用来抓取用户评价的,对不上了
改了后,还是不行,
改了后,还是不行,感觉模拟点击还是不起作用,麻烦有空帮我再看看!
运行正常
要从第一级Tmall_lvdun_detail开始抓取,不能从第二级开始抓取
Timeout to load the page
我就是从第一级开始抓取的,只抓取了详情页后就没反应了,过好几分钟后就显示Timeout to load the page. 不自动运行第二级。
第一级能加载吗
我原封不动地将这两个信息结构转存到我的服务器上进行了测试,测试效果很好。
这样检查问题:
1,用MetaStudio加载第一级的信息结构,是否能够加载成功,如果成功,进行第二步
2,用DataScraper抓取第一级,抓取之前在菜单上不选择“普通模式”,选择“全屏显示”,重新运行DataScraper能够看到占满整个屏幕。然后抓取第二级,观察浏览器窗口,能够看到自动跳到显示评论的位置(如果没有自动跳,可以拖动一下滚动条,看看评论内容是否显示了),如果评论内容一直不显示,说明第一级运行不正确,没有点击到“累计评价”
按照你的程序检查了
按照你的程序检查了
加载一级信息可以成功,然后用DataScraper抓取第一级,抓取之前没选择“普通模式”,选择了“全屏显示”,但是没有自动跳到显示评论的位置,没有点击到“累计评价”,不知道为什么,我为什么总是不成功。
你的网速是多少?
以前有个朋友将超时时间设置的特别短,网速又慢,总是超时。超时时间设置成多少了?注意单位是毫秒
你的网速是多少? 用ADSL吗?
我这网速不太好
超时设置是默认600000,网速不是很好,用的无线。
修改一下整理箱试试
信息属性“名称”保留key特性,其他两个信息属性的key特性都不要画勾,按理说就不应该出现timeout了