关于https加密网站信息提取的问题

Sun, 10/09/2011 - 11:41 — abelzhao

我尝试提取加密网站www.xing.com的用户关系链的数据，就是沿着用户关系链去抓其他用户的详情。抓取页面如下：
https://www.xing.com/app/profile?op=contacts;name=mao%E6%AF%9B_mao%E6%AF...
但发现在层次抓取的时候，第一个theme的clue无法被第二个theme识别（第二个theme的clue不增加），相应工程在xing_network和xing_profile。
这是否与https协议有关？

Web信息提取

Mon, 10/10/2011 - 18:05 — Fuller

https加密网站信息提取问题解决了

经过检查程序代码，发现确实对https加密网站进行了限制，我们已经将这个限制放开了，但是需要现在新的DataScraper。DataScraper今天发布了与Firefox 7.x配套的版本。你可以下载这个版本，也可以下载与Firefox6.x或者Firefox3.6.x配套的最新DataScraper

Mon, 10/10/2011 - 16:32 — Fuller