|
为了具有更一致TDM为进一步的分析，这些原始索引应被归一化。在统计分析中，归一化包括以消除数据元素之间的不同尺度的不同效果分割多组数据由一个共同的值来进行比较的。原始频率值可以使用的一些可供选择的方法进行归一化。下面是一些最常用的标准化方法（StatSoft推出，2010）：
对数的词频。原始词频通过对数函数变换。这种变换将“抑制”的原始词频，以及如何影响后续分析的结果。
f(wf)=1+log(wf)
在该式中，
wf
是原始词频，而
f(wf)
是对数变换的结果。这个变换被应用到TDM中所有的原始词频，这里词频是大于零的。
二元频率。同样的，一个更简单的变换可以用于枚举词，如果词条被用于一份文件中。
f(wf)=1,for:wf>0
这导致的TDM矩阵将只包含0和1，它们指示了各词条是否存在。同样，这种转换将抑制的原始词频的效果，在后续的计算和分析中进行计数。
逆文档频率。除了词条的归一化频率，对于给定词频的每个文档（相对文件频率或
df
）也是分析中的一个重要方面。例如，可能会经常出现在所有的文件中，如”guess”，而另一个词条，如”software”，可能只会出现几次。其原因是，人们可能在各种情况下都会”make guess”，而不管特定主题的，而”software”是一种在语义上更聚焦的词条，它仅发生在有关计算机软件的文件中。一个常见的和非常有用的变换被称为逆文档词频（Manning和Schutze，1999），它反映了词条的特异性（相对于文档频率）以及它们出现（转化的词频率）的总体频率。这个变换对于第
i
词和第
j
个文件可写为：
idf(i,j)=?????0(1+log(wfi,j)logNdfi当wfi,j=0当wfi,j≥0
这里
wfij
是被第
j
个文档中第
i
个词条归一化后的词频(包含此词条的文档数量)，并且
n
是文档的总数。你能看到这个公式既包含了对数函数的简单词频阻尼(之前描述的)也包含了权重因子，如果词条在所有文档中出现，则计为0,[
i.e.,log(N/N=1)=0
]。当一个词条仅出现在单独的文本中这个值就是最大值,[
i.e.,log(N/1)=log(N)
]。如何这个转换将创建索引能被很容易的观察到。它反映了出现词条词频以及它们在文档中频率的相关性，它代表了给出文档的语义特异性。它最常用于字段转换。 （编辑：安卓应用网_福州站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
