基于互联网内容做初步的论文查重是否可行？

如题， 我想用网络爬虫， 爬取一定量的互联网内容后， 提供初步的论文查重功能。
不知道是否可行

如果是建一个基础库，提供初步的查重功能， 我觉得是可以的。

那些专业的查重软件， 比如知网， 底层库收录的有期刊论文，博硕士论文，专利，各种出版物。
也有来自互联网的资源：互联网资源(包含贴吧等论坛资源)，互联网文档资源等

集搜客网络爬虫软件在监控互联网内容版权方面用的还挺多的。粗略来说，可以有两种方案：
1，在线式发现互联网上可疑的抄袭内容。
从文章中提取一些特征句子，交给集搜客网络爬虫，至少可以从百度搜索结果中收集潜在的查重对象。可以用这个百度搜索快捷采集工具。比如，搜寻分析师的文章有没有被抄袭。

2，预先建设资料库的方案
用集搜客网络爬虫持续不断地爬取互联网内容，建设资料库。等需要查询一篇文章是否与其他雷同时，从这个资料库中查就行了。

如果做粗略的可以内容排查，可以用基本的搜索引擎的排序功能就可。如果需要比较高精度地识别内容的相似度，可以实现一些相似度引擎，比如，Shingling算法。

之前有个项目， 是基于上面所说的第1种方法:  在线式发现互联网上可疑的抄袭内容