新浪微博...发现如果是信息没有更新就一切正常 但是如果在datascraper抓取过程中 如果出现新微博 抓取就会出现问题 基本上下一页就会结束抓取 请问这该如何解决呢?
您所说的有信息是指在新浪微博页面上显示“有1条新微博,点击查看”这样的字样吗?DataScraper抓取一个网页都是瞬间完成的,怎么会等到这样的字样出现。
是的 就是在新浪微博页面上显示“有1条新微博,点击查看”这样的字样 但是因为要滚屏才能翻页啊 似乎是在不断滚屏的延时中定时器就触发了的样子 然后就出问题了
如果进行了合适的FreeFormat映射,应该受影响的程度会减小,如果还是抓取规则不适应,则定义一个同主题名,而辅名不同的抓取规则,DataScraper会自动找一个适合的规则。
DataScraper有个自动的判断机制,根据实际情况自适应判断,所以,定时器触发时间不能设定
是不是抓取规则不合适
您所说的有信息是指在新浪微博页面上显示“有1条新微博,点击查看”这样的字样吗?DataScraper抓取一个网页都是瞬间完成的,怎么会等到这样的字样出现。
定时器触发的时间可不可以设定的?
是的 就是在新浪微博页面上显示“有1条新微博,点击查看”这样的字样
但是因为要滚屏才能翻页啊 似乎是在不断滚屏的延时中定时器就触发了的样子 然后就出问题了
针对新浪微博出现新消息的情况做个抓取规则
如果进行了合适的FreeFormat映射,应该受影响的程度会减小,如果还是抓取规则不适应,则定义一个同主题名,而辅名不同的抓取规则,DataScraper会自动找一个适合的规则。
定时器触发的时间可不可以设定的?
是的 就是在新浪微博页面上显示“有1条新微博,点击查看”这样的字样
但是因为要滚屏才能翻页啊 似乎是在不断滚屏的延时中定时器就触发了的样子 然后就出问题了
定时器触发时间不能设定
DataScraper有个自动的判断机制,根据实际情况自适应判断,所以,定时器触发时间不能设定