知乎采集关键词问答一级

Fuller 发表于 2018-2-11 11:52
我看到你下载了我做的规则，我把积分退还给你了，你可以尝试一下新发布的那套规则，一共3级，采集的信息 ...

嗯，正在尝试。发现知乎很多重复的问题。。。 90%以上全部重复的

golgo_forever 发表于 2018-2-11 16:15
嗯，正在尝试。发现知乎很多重复的问题。。。 90%以上全部重复的

因为一个人问，好几个回答，或者评论，都会在列表中出现一次，可以根据网址过滤重复。知乎的网址结构特别清晰，含有问题部分和回答部分。

另外，因为是瀑布流，往下滚屏采集的时候，如果上面的老数据没有清除，那么一直重复，重复量好大，而且还会因为内存不够导致程序退出