Home › Forums › MetaSeeker工具包

当当与京东抓取案例问题

Thu, 12/22/2011 - 23:24 — liuc

当当的案例http://www.gooseeker.com/cn/node/document/metaseeker/cookbookv4/defineschema.html
与京东的案例http://www.gooseeker.com/cn/node/document/metaseeker/cookbookv4/defineschemasenior.html
为什么执行同样步骤的情况下，京东只能显示一个商品，而当当就能显示一页中的所有商品呢？（我没看出来两个操作有什么区别）
另外，我按照案例中的方法做完了启用DataScraper第一次提取能在内置浏览器中看到网页但是会莫名其妙的自动关掉，产生对应的目录后没有任何xml文件，再次提取内置浏览器中就不再出现网页，也没任何反应，也没在相应目录里产生任何xml文件，更别提分页的提取了，这是为什么呢？

‹ sina微博抓取关注对象列表问题 关于sina微群的成员list的ajax翻页问题 ›
Fri, 12/23/2011 - 09:20 — Fuller

京东和当当的抓取规则需要修改

经过一段时间后，京东和当当网页结构会变化，以前定义的信息结构可能就不适应了。如果在目录中没有XML文件产生，肯定是抓取规则不适合，在DataScraper窗口下部会显示错误原因。

抓取多个实例的方法有两个：1，定义样例复制品规则；2，进行FreeFormat映射。有些网页上有很多@class，即使没有明确指明，MetaStudio也会自动使用这些@class，也就是说自动进行了FreeFormat映射，就能抓取多实例了，当当应该属于这种情形。而京东，你需要做样例复制品映射或者FreeFormat映射，才能抓取多实例