按着ID 的序列抓取每个相同结构页面里面的信息应该怎么操作呢？

Thu, 08/30/2012 - 23:18 — sj2212

列表单页的信息以及翻页的基本信息都基本会抓取了

想问问根据ID 到详细的页面的里面的信息怎么抓取呢？！希望提供一个思路。谢谢！

Fri, 08/31/2012 - 08:54 — Fuller

是不是要做层级抓取？

Fri, 08/31/2012 - 13:31 — sj2212

我可能没有描述清楚，

list.asp 列表页面，能抓取商品的基础信息，比如小图地址商品名字单价商品ID，但商品的具体的介绍是在DISPLAY.ASP？id=566 这样的页面显示。

我想请教的是如何根据list.asp页面上 ID 抓取不同的商品具体介绍呢？

Fri, 08/31/2012 - 20:53 — Fuller

企业版的数据库是开放的，可以根据list抓到的id号自动构造出url地址，生成抓取线索。这个自动生成过程在配套的入库软件MetaCorpora中实现。

在线版用户不能构造url，但是可以在list.asp网页上抓取到display.asp?id=xxx这样的网址，采用层级抓取方法，为下一级生成线索。

Sat, 09/01/2012 - 12:55 — sj2212

在线版用户不能构造url，但是可以在list.asp网页上抓取到display.asp?id=xxx这样的网址，采用层级抓取方法，为下一级生成线索。

恩这个思路能理解到，本站的文档里有介绍关于层级抓取的方法吗？！好像只看到在同一个页面上抓取等介绍。没有看到层级的抓取。麻烦能否丢一个连接看看呢？

Sat, 09/01/2012 - 15:42 — Fuller

层级抓取方法参看《层级抓取》

GooSeeker