GooSeeker集搜客网络爬虫，简单高效的网页采集器

一种自主学习的图像精细分类方法

发明授权

CN201710598711.7

2017-07-21

CN107563406B

2021-01-01

浙江工业大学

310014 浙江省杭州市下城区潮王路18号浙江工业大学

宣琦; 肖浩泉; 傅晨波; 方宾伟; 王金宝

G06K9/62;G06N3/04;G06F16/953

G06K9/62

33

10

杭州斯可睿专利事务所有限公司

王利强

1.一种自主学习的图像精细分类方法,其特征在于：包括以下步骤：S1：人工采集对应需求标签的图像数据集,保存至强标签数据集,使用ImageNet数据集初始化卷积神经网络CNN参数；S2：使用强标签数据集微调修正CNN；S3：判断分类网络的优化趋势,包括以下步骤：S3.1：若迭代不足三次,则进入步骤S4；S3.2：比较最近三次迭代中,末次是否是最优分类精度,是则认为网络还在优化阶段,否则认为网络参数已经停止收敛；S3.2：若网络仍在优化阶段,则进入步骤S4；S3.3：若网络参数停止收敛,则进入步骤S8；S4：判断网络分类精度是否达到了要求；S5：利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集；S6：使用弱标签数据集调整滤波器的阈值；S7：使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集；S8：保存网络权重和滤波器参数,包含以下步骤：S8.1：将最新的网络参数初始化最终分类网络；S8.2：停止学习。

一种自主学习的图像精细分类方法,包括以下步骤：1)人工采集对应需求标签的图像数据集,保存至强标签数据集,使用ImageNet数据集初始化卷积神经网络CNN参数；2)使用强标签数据集微调修正CNN；3)判断分类网络的优化趋势；4)判断网络分类精度是否达到了要求；5)利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集；6)使用弱标签数据集调整滤波器的阈值；7)使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集；8)保存网络权重和滤波器参数。本发明训练得到的分类器的分类精度和鲁棒性都较高。

分辨爬虫和CC攻击的方法、装置、电子设备及存储介质

发明授权

CN201811397238.7

2018-11-22

CN109547434B

2021-01-01

北京知道创宇信息技术股份有限公司

100000 北京市朝阳区阜通东大街1号院5号楼1单元311501室

赵晨晖

H04L29/06;H04L29/08

H04L29/06

11

14

北京超凡宏宇专利代理事务所(特殊普通合伙)

徐丽

1.一种分辨爬虫和CC攻击的方法,其特征在于,所述方法包括：获取至少两个由同一用户访问的URL；计算每两两所述URL之间的距离,得到多个距离值；将所述多个距离值进行累加得到表征所述用户访问的离散度的距离和；在判断所述距离和不属于预先保存的阈值范围时,确定所述用户的访问为爬虫访问或者为CC攻击；其中,计算每两两所述URL之间的距离,包括：将待计算的每个所述URL所包括的内容按照第一预设顺序组成一个包含N个元素的数组,其中,所述数组包含一个参数元素以及至少一个字符串元素；针对待计算的每两个所述URL所对应的两个数组,按照第二预设规则比对所述两个数组所包括的所述字符串元素以及按照第三预设规则比对所述两个数组所包括的所述参数元素,得到与所述待计算的每两个所述URL对应的比较结果数组；根据第四预设规则,将所述比较结果数组转换成一个数值,所述数值为所述待计算的每两个所述URL之间的距离；其中,每个所述URL包括host、path以及arguments；针对每个所述URL,将与该URL所对应的host按照排列顺序根据“.”进行拆分,得到至少一个host元素,将与该URL所对应的path按照排列顺序根据“/”进行拆分,得到至少一个path元素,将与该URL所对应的arguments根据“&”进行拆分,得到arguments元素；将所述至少一个host元素、所述至少一个path元素以及所述arguments元素组成一个包含N个元素的数组其中,将所述arguments元素填入a_0,形成所述参数元素,将所述至少一个host元素经过逆序排序且将所述至少一个path元素顺序排序后依次填入a_(N-1)到a_1,形成所述字符串元素。

本发明提供了一种本发明实施例提出的分辨爬虫和CC攻击的方法、装置、电子设备及存储介质,先获取至少两个由同一用户访问的URL；然后计算每两两所述URL之间的距离,得到多个距离值；然后将所述多个距离值进行累加得到表征所述用户访问的离散度的距离和；在判断所述距离和不属于预先保存的阈值范围时,确定所述用户的访问为爬虫访问或者为CC攻击。

一种法律条文精准推荐系统

发明公开

CN202011054621.X

2020-09-29

CN112163152A

2021-01-01

信阳农林学院

464000 河南省信阳市平桥区北环路1号

魏竞超; 方圆; 崔宇晴; 陈芮; 汤朦; 王翼飞

G06F16/9535;G06F16/951;G06F40/189;G06N3/04;G06Q50/18

G06F16/9535

41

6

西安合创非凡知识产权代理事务所(普通合伙)

高志永

1.一种法律条文精准推荐系统,其特征在于,包括：法律条文采集模块,用于基于网络爬虫模块在目标网络基站上爬取对应的法律条文数据,并将爬取到的法律条文数据实时反馈至数据整理模块；数据整理模块,用于实现法律条文数据的整理；特征提取模块,用于提取法律条文数据及录入的咨询请求的特征数据；关联关系构建模块,用于根据法律条文数据的特征数据实现各法律条文数据之间关联关系的构建；推荐模型构建模块,用于根据所述特征数据及其对应的法律条文数据实现推荐模型的构建；法律条文推荐模块,用于基于所述推荐模型、关联关系及录入的咨询请求实现法律条文的推荐。

本发明公开了一种法律条文精准推荐系统,包括：法律条文采集模块,用于基于网络爬虫模块在目标网络基站上爬取对应的法律条文数据,并将爬取到的法律条文数据实时反馈至数据整理模块；数据整理模块,用于实现法律条文数据的整理；特征提取模块,用于提取法律条文数据及录入的咨询请求的特征数据；关联关系构建模块,用于根据法律条文数据的特征数据实现各法律条文数据之间关联关系的构建；推荐模型构建模块,用于根据特征数据及其对应的法律条文数据实现推荐模型的构建；法律条文推荐模块,用于基于所述推荐模型、关联关系及录入的咨询请求实现法律条文的推荐。本发明在可以实现法律条文数据快速查找推荐的同时,提高了所推荐法律条文的精准性。

图像数据的处理方法和装置

发明公开

CN202011094010.8

2020-10-14

CN112163139A

2021-01-01

深兰科技(上海)有限公司

200336 上海市长宁区威宁路369号1001单元(实际楼层9楼)

陈海波; 其他发明人请求不公开姓名

G06F16/951;G06F16/954;G06F16/958;G06F16/535;G06F16/55;G06Q30/06

G06F16/951

31

14

常州佰业腾飞专利代理事务所(普通合伙)

陈红桥

1.一种图像数据的处理方法,其特征在于,包括以下步骤：采用图像爬虫工具模拟用户浏览网页的状态从购物网站中爬取原始商品图像；采用前景分割算法对所述商品图像进行处理；对处理后的商品图像进行筛选和分类。

本发明提供一种图像数据的处理方法和装置,所述方法包括以下步骤：采用图像爬虫工具模拟用户浏览网页的状态从购物网站中爬取原始商品图像；采用前景分割算法对商品图像进行处理；对处理后的商品图像进行筛选和分类。本发明的处理方法,能够模拟真实用户浏览网页的状态,以降低反爬虫的风险,实现快速获取大量不同类别图像数据。

一种基于网络爬虫的网购平台实现数据可视化的方法

发明公开

CN202010970118.2

2020-09-11

CN112163138A

2021-01-01

西南大学

400715 重庆市北碚区天生路2号西南大学25教学楼

杨远林

G06F16/951;G06F16/26;G06Q30/06

G06F16/951

50

10

1.一种基于网络爬虫的网购平台实现数据可视化的方法,其特征在于,该方法包括以下步骤：步骤A：将计算机配置好python环境,并配置pyredis、pymongdb、flask模块、Redis和MongoDB数据库；步骤B：打开代理网站,进入浏览器开发者模式,对代理网站结构进行分析,构建爬取模块,调用多线程；步骤C：使用Flask模块构建代理管理系统,基于BS架构；步骤D：从代理接口获取到代理信息,随机初始化爬虫头浏览器信息；步骤E：使用TKint构建网购平台信息可视化系统客户端模块。

本发明提供的一种基于网络爬虫的网购平台实现数据可视化的方法,该方法包括以下步骤：步骤A：将计算机配置好python环境,并配置pyredis、pymongdb、flask模块、Redis和MongoDB数据库；步骤B：打开代理网站,进入浏览器开发者模式,对代理网站结构进行分析,构建爬取模块,调用多线程；步骤C：使用Flask模块构建代理管理系统,基于BS架构；步骤D：从代理接口获取到代理信息,随机初始化爬虫头浏览器信息；步骤E：使用TKint构建网购平台信息可视化系统客户端模块。可以针对网购平台的数据特性,对其可视化,充分利用和挖掘信息,从不同角度对数据进行解析。