【3】 文本挖掘方法论

一旦收集完成，文本文件就可以转化和组织为计算机可处理的方式，并转换为相同的格式（如ASCII文本文件）。数字化的文本文件可以存储在一个文件夹中，也可以以网页集合的形式放到在一个特定的域列表中。许多市售的文本挖掘软件工具可以接受网页作为输入，并将其转换成一个文本文件进行处理。可选地，文本文件也可以在文本挖掘软件之外准备，那么可以表示为输入到文本挖掘应用。

第三阶段，第2步：预处理的数据

在此活动中，将数字化并且组织好的文档（语料库）用于创建数据结构化的表示，通常被称为词条-文档矩阵（TDM）。通常，TDM包括表示文件的行和表示词条的列构成。词条和文档之间的关系被表征为索引，这是关系的测度，如在文档中出现的词频。图5.5显示了TDM的简化示例。

第2步的目标是把组织好的文档（语料库）列表转换成一个TDM，这里单元被填充为最合适的索引。我们在这里所做的假设是，文件的??“意义”可以用该文件中出现的词条列表和词频来表示。那么，表征文档时，所有的条件都同样重要吗？显然，答案是否定的。一些词条，例如冠词，助动词，是几乎所有语料库文档都使用的词条，它们没有有意义的功能，因此应被排除在索引之外。这些词的列表俗称停用词表，这往往在具体研究领域由该领域专家专门鉴定。在另一方面，在文件被索引时，我们可以选用一组预定义的停用词列表，这类词条列表惯例上被称为字典。此外，同义词和特定的短语（例如，“最高法院”）也可以以词典的形式提供，这样的索引条目将会更准确。图5.6示出了TDM与其它四个任务的更详细视图。

　任务1

第一个任务产生停用词（或者包含词条）以及同义词和特定短语。

任务2

由词干或词形还原创建词条列表，这是词条最简单的形式（即词根）。词干的例子是用于识别和索引不同的语法形式或约简动词词条。例如词干可以确保模型，建模和模拟被识别为词的模型。以这种方式，词干会明显降低词条的数量，并增加一些词条的频率。词根有两种常见的类型：
1.屈折词干：这旨在规范语法上的变化，如现在/过去时态和单/复数变化等（这在计算语言学上被称为形态分析）。不同的语言在难易程度上显著的不同。
2.词干到根：这旨在消除屈折性或派生的前缀和后缀，形成词根的形式。

任务3

创建TDM。在任务3中，语料库的数字二维矩阵表示被创建，这是TDM生成的第一种形式，包括以下三个步骤：

• 指定所有文件作为矩阵中的行
• 识别所有的在语料库中的独特的词条（如它的列），但不包含在停用词列表中的
• 计算每个词的每个文档的出现次数（作为其单元值）

如果语料库包括一个相当大数目的文件（这是通常的情况），则是很常见的TDM为具有非常大的词条。处理这样一个大的矩阵可能是耗时的，而且，更重要的是，它可能会导致提取不准确的模式。大型矩阵和耗时的操作这些危险情况导致如下两个问题：

• 什么是文本挖掘项目最优处理的索引最佳表示？
• 如何把矩阵的维度降低到一个更易于管理的大小，以方便更快捷有效的处理？

要回答第1个问题，我们必须评估各种形式的索引表示。一种方法是词频的转换。一旦输入文档被索引并且初始词频（由文件）被计算，可以执行一些额外的转换来概括和聚集所提取的信息。原词的频率反映了每个文档中相对突出的词。具体而言，文档词条出现的较大词频可能是该文件内容最好的描述符。然而，词条的计数是正比于文件描述符的重要性本身不是一个合理的假设。例如，即使在文件A中词条的频率三倍高于文件B中，不一定就能推论出这个词对于文档B三倍重要于文档A。

（编辑：安卓应用网_福州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!