感觉这个的爬取的速度有点慢

问：感觉这个的爬取的速度有点慢

答：网络速度不慢吗？检查DS打数机底部的日志窗口，有什么日志？


问：没有什么日志的，偶尔会打出read   timeout。300个网页会打那么一个日志


答：timeout要么是网络不稳定，要么是抓取规则不适应。如果确定说这些网页可以放弃，那么就把超时时间设置短一些，比如，1分钟，老版本是10分钟，会拖慢速度。另一个相关帖子：http://www.gooseeker.com/doc/thread-595-1-1.html

1，运行爬虫群模式，可以同时运行很多线程并行抓取，尽量控制在10个线程以内
2，如果自己的电脑足够强大，有很多内存，一个DS打数机进程虽然带10个线程，但是32位程序不会使用超过4G内容，那么就运行多个DS进程，每个进程需要设置不同的profile
3，如果有足够多的电脑，那么这些电脑可以同时运行，大家不会重叠也不会遗漏

超时的话，基本上可以断定规则做的不合适，应该用MS谋数台加载这条线索看看哪里不合适，加载失败线索的方法参看：http://www.gooseeker.com/doc/thread-398-1-1.html