在层级抓取中我们常遇到这样的情况,比如,第一级是所有商品的列表(假设它在一页内全部显示完),第二级是每个商品的具体信息。第一级通过info线索与第二级相连。 但很多时候,我们不需要为第一级中的每个商品都建立info线索,比如该页一共有1000个商品,我只需要其中200个的信息,这时我就不能用多实例映射,因为这样做会把所有的商品都映射下来,此时我应该怎么办?用xslt可以解决吗? 在线等,谢谢fuller!
第二级的线索不用DataScraper抓取,而是将第一级抓取的结果选出合适的,直接向企业版数据库插入第二级的线索
这么说在线版的就不能用了啊,好吧,还是多谢fuller!
再补充一个问题,在crontab.xml文件中,如果不设置period会发生什么情况?因为有时我需要用crontab对datascraper进行某些参数的设定,但不一定要让该主题重复运行。
如果不需要重复运行,可以手工关闭这个DataScraper窗口
用企业版可以控制线索的生成
第二级的线索不用DataScraper抓取,而是将第一级抓取的结果选出合适的,直接向企业版数据库插入第二级的线索
谢谢!
这么说在线版的就不能用了啊,好吧,还是多谢fuller!
补充一个问题
再补充一个问题,在crontab.xml文件中,如果不设置period会发生什么情况?因为有时我需要用crontab对datascraper进行某些参数的设定,但不一定要让该主题重复运行。
手工关掉DataScraper窗口
如果不需要重复运行,可以手工关闭这个DataScraper窗口