资讯版块新发布的一篇论文范例《基于科技政策文本的程度词典构建研究》，该研究的作者立足科技政策的功能定位和用语特征，提出程度词的概念。兼顾数量和语义构建程度词典，包括依据专家知识选取种子词，利用 PMI算法进行词语扩展，使用同义词词林筛选词语。最后结合 TextRank算法进行实验验证。经过信度和效度检验，构建的程度词典有效，得出了结合程度词典的政策文本分析细粒度优于使用单一的文本挖掘算法的结论。 那么PMI算法(点互信息法, Pointwise Mutual Information )到底是什么呢？ 我们从以下知乎的问题回答和csdn的文章中摘录PMI的解释： 2. 什么是点互信息 1，点互信息PMI（Pointwise Mutual Information） PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性（比如两个词）。 其原理很简单，公式如下： 在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x,y)就相比于p(x)p(y)越大。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。
这里的log来自于信息论的理论，可以简单理解为，当对p(x)取log之后就将一个概率转换为了信息量（要再乘以-1将其变为正数），以2为底时可以简单理解为用多少个bits可以表示这个变量。 点互信息PMI其实就是从信息论里面的互信息这个概念里面衍生出来的。其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量。所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。 2，例子 举个自然语言处理中的例子来说，我们想衡量like这个词的极性（正向情感还是负向情感）。我们可以预先挑选一些正向情感的词，比如good。然后我们算like跟good的PMI，即： PMI(like,good)=logp(like,good)p(like)p(good) 其中p(like)是like在语料库中出现的概率（出现次数除以总词数N），p(like,good)表示like跟good在一句话中同时出现的概率（like跟good同时出现的次数除以N2）。 PMI(like,good)越大表示like的正向情感倾向就越明显。 3，后续的学习 PMI的概念先学习到这里，后续我们看看怎样在Jupyter Notebook中用Python做PMI算法的测试。 |
