点互信息(PMI)和正点互信息(PPMI)-CSDN博客

网站介绍:文章浏览阅读3.8k次,点赞6次,收藏14次。最近在看代码的时候,发现论文用到了PPMI,索性这里记录一下两个概念:PMI(点互信息)用来衡量两个事物之间的相关性公式如下如何理解?在概率论当中,如果说x与y两个变量无关,那么p(x,y)就等于p(x)p(y)如果说x与y越相关,那么p(x,y)与p(x)p(y)的比值就越大为了更好理解,这里有一个例子:分母19是所有的词对共同出现的总次数(1+1+1+1+2+1+1+1+6+4)这里的例子进行理解的时候,先是红色框的0.32,是根据当前词_ppmi