网络爬虫软件产品技术动态和资讯 - 集搜客GooSeeker网络爬虫

本文参考Gephi官网的内容，继续学习Gephi网络图的统计。为了使过滤操作有数据支撑，统计就是针对图的整体或者节点或者边的一些统计指标的运算，这些统计值有助于更好的观察和分析网络 ...

2022-9-22 09:38

第19届亚运会官方抖音账号发布的短视频中，可以提取出文化符号、科技符号、人文符号、国际符号四类传播符号，它们潜移默化地塑造着杭州的城市形象，依托隐喻修辞向受众传达杭州的地域独有性 ...

2022-9-21 09:31

今天我们继续学习Gephi的过滤器(Filters)，也就是对数据(网络节点和边)进行过滤操作，从而帮助分析人员能面对一个更美观更直观的网络图来进行探索和分析。在《用networkx和python编程可视化分析共现词关系图》这个Ju ...

2022-9-19 08:59

这篇范例基于社会网络分析法，选取山东省131个公安微博所构成的关注网络为样本，测度该微博社群在宏观层面的整体网络指标、中观层面的凝聚子群指标和微观层面的节点中心性指标，探究典型省份公安微博社会网络的总体 ...

2022-9-16 09:33

今天学习和实验的布局相关的内容。使用了自动生成的随机数据构造了网络。我们接下来会出几篇利用实际的社交网络上的内容作为实验样本，展示怎样和网络爬虫工具和中文分词工具配合在一起，用Gephi来可视化展示和分析 ...

2022-9-13 11:15

我们发布了一组Jupyter Notebook，全部围绕着点度中心性计算和社会网络图的生成和计算。图计算完成以后，用Python画出来的效果一般，那么本系列文章将讲解在Gephi下做进一步的图计算和可视化。 ...

2022-9-10 11:54

这一批Jupyter Notebook围绕着点度中心性分析，介绍了两种简化社会网络图的方法：MST和根据阈值剪边，展示了在notebook中用python调用numpy和networkx的方法。下一批notebook将实验其他中心性的计算方法。在完成这一 ...

2022-9-9 18:08

皮尔森相关系数和余弦相似度系数是一类的，他们度量的是夹角的cosine值；而协方差和点积（共词矩阵是点积的结果）是一类的，他们度量的是一个向量向另一个向量投影后的大小。但是，在向量空间中，这些变化都不能改善 ...

2022-9-5 10:37

本文提出了一种将专利引文网络与 SAO 语义分析方法结合，以提取技术演化路径从而识别技术发展趋势的方法，并以全固态锂离子电池为例进行了分析。该方法在构建专利引文网络基础上，通过社群划分及 SPC 算法提取主路径 ...

2022-9-1 11:08

本notebook准备使用协方差矩阵来描述共词关系，同共词矩阵相比，这可以看作是更加细腻的考察，因为通过去中心化计算，词在文档中的分布规律不再是非负数描述的，而是有正有负，可以看作是有涨有跌 ...

2022-8-30 15:49

用MST的时候，发现裁剪的太厉害，而且由于两个普遍词造成MST树几乎就是一个星状结构，很难观察到有价值的信息。当时我们计划采用其他度量距离的方法再看看能否有更多发现。而在这之前，我们先试试通过设定边的权重阈 ...

2022-8-29 12:04

本notebook将演示MST计算方法，下一篇notebook将演示通过设定边权重的阈值来简化图。MST一般是minimum spanning tree的简称，是图算法中的一个最最基础的算法，基于这个算法，可以把graph变成tree，每个节点只留一条 ...

2022-8-26 09:38

在什么场合下需要计算tf-idf？《GooSeeker分词和情感分析结果excel表怎样计算tf-idf》做了详细说明，在这里就不重复说了。在本notebook中重点对比一下计算tf或者tf-idf会对原始数据产生什么样的影响。 ... ... ... . ...

2022-8-24 16:59

本notebook将演练使用networkx画社会网络分析图。然后在接下来的notebook中演练对图的化简，分别根据边权重化简和利用MST算法化简。

2022-8-23 15:59

本文将GooSeeker分词和情感分析软件生成的选词矩阵和共词矩阵excel文件读入到NumPy数组中，而且可以看到共词矩阵实际上是可以由选词矩阵生成的。我们把选词矩阵叫做关系矩阵R，那么共词矩阵叫做邻接矩阵A(adjacency ...

2022-8-22 11:22

资讯