文本情感分类预处理研究

【关键词】情感分类 预处理 特征词 情感词

典

一般的文本采集方法会使得最终得到的

文本集合中含有大量的噪音，在这些噪音的影

响下，进行文本情感分析会受到干扰，得到的

结果准确性也会降低。因此在进行情感分析之

前必须要对文本数据集进行一系列预处理工

作。

1 文本分词、去停用词

中文分词（Chinese Word Segmentation）

是指将完整的句子拆分成单个词语。现阶段常

用的中文分词算法主要有三种：统计方法，词

典方法和规则方法。中文分词采用一般采用中

科院中文分词系统（ICTCLAS）进行，可以

实现中文分词、词性标注和命名实体识别，该

系统对分词具有较好的效果。举例来说：

原句：中央电视台主持人、了不起的挑

战节目艺人撒贝宁在上海拍摄节目。

以上句子用ICTCLAS 分词后：中央电视

台/n 主持人/n 、了不起的挑战/n 节目/n 艺

人/n 撒贝宁/n 在/p 上海/n 拍摄/v 节目/n。

/w

从__________上述分词实例可以看出，ICTCLAS 在

分词时整体效果较为优秀，能够将名词动词等

都正确分出。

停用词指在中文文本中出现的语气助词、

指代词、介词、感叹词、数量词、副词、连词

等对文本分类没有直接影响的词语。这些停用

词在中文文本中出现的频率非常高，使得对文

本的特征选取方面出现一定程度的偏差。

那么如何将停用词去除便成了文本分类

的一个先决条件，去停用词的过程是：建立一

文/郭璇

文本是情感表达的重要方式，

在挖掘文本包含的情感之前必须

要进行预处理。本文对预处理的

过程进行综述，包括文本分词、

去停用词、特征选择、特征项加权、

生成VSM 模型、情感词典建立等

步骤。

摘 要

个停用词词典，分词后，将每个词语放进停用

词词典进行比对，如果相同则去除当前词语。

需要我们注意的是，停用词的词典构建过程不

可能一次完成，需要在平时的研究过程中不断

积累和添加。如果能将文本集合中的词频做出

统计，即可发现，词频数最大的几个词语通常

是我们文本分类中无意义的停用词。

2 特征选择

常用的文本特征选择基本思想：针对每

一个特征词，计算出一个统计时使用的度量值，

设定一个阈值，将计算出的统计度量值的结果

与阈值做出比较，小于阈值的所有特征都去除，

最后剩下的就是有效特征。具体方法有以下三

种：

文档频率（DF）：文档频率指某一个具

体的特征词在其他文档中出现的次数。其主要

思想是：对包含指定特征的文档在训练集中出

现的频率进行统计，并预设一个相应的阈值。

将特征项的DF 值与设定好的阈值进行比较，

若DF 值小于阈值，则将此特征值删去，这样

可以使得特征的选取更加具有代表性。

信息增益（IG）：信息增益主要凭借信

息熵来衡量特征项对分类提供了多少信息。在

进行特征选取时，根据该项特征存在与否时分

别判断当前分类模型中的信息量大小，若该特

征项存在时，分类模型提供较大的信息量，则

将此特征项提取出来。

互信息（MI）: 互信息主要是检测两个随

机事件之间的关联性。在特征选择这个关键步

骤中，若类别与特征项这两者之间表现出的关

联度越大，即互信息越大，则表示该特征值最

能代表此类别。

3 特征项加权

将每一篇训练文本集合在特征空间中的

向量进行扫描和统计，采用TF--IDF 的方法计

算出向量中每一维的权重。TF-IDF 权重，代

表将词语频率和文本频率两种数据信息结合，

进行利用表示将TF 和IDF 两种计算权重的方

式进行组合并综合运用，其计算公式为：

（1）

式中TF 代表排序为k 的特征词出现在第

i 篇文本中的次数，N 代表着当前训练集中的

文本总数目，nk 代表着包含排序为k 的特征词

的文本数目，β 为一个经验值，一般取0.01、0.1

或者1。

4 文本生成VSM模型

目前文本表示通常采用 G. Salton 等人

提出的向量空间模型（Vector Space Model,

VSM）。给定一个文本 D（t1,w1;t2,w2;…

;tn,wm）,D 满足以下约定：

（1）各个特征项 tk（1 ≤ k ≤ n）互异；

（2）各个特征项 tk 没有顺序关系。

采用向量空间模型的方式来表示文本，

其主要的流程如下：

（1）首先将样本数据集中的训练集表示

成特征项序列D={t1,t2,…,td}，便于文本表示；

（2）根据机器学习的算法所需要的文本

表示形式，并基于第一步中排列出的文本的特

征项序列，把包含在样本集中选择出的训练集

和测试集中的所有文本分别进行特征赋值和规

约化等操作，最终生成计算机能够识别的向量

空间模型。

5 情感词典建立

对文本的情感进行分类，必须要在分类

器上对情感信息进行训练，这就需要建立一个

情感词典来提供给机器学习。文本中包含的情

感信息通常都是以词语的形式体现，情感词的

褒贬也通常代表这句子的褒贬，因此，一个词

汇量大、高质量的情感词典，将有效提高情感

分类的效率。

情感词典的建立基于国内常用的情感词

典《知网》（HowNet）知网于2007 年发布了

beta 版本情感分析用词语集，其中报考正向的

情感词836 个，负向的情感词语1254 个。评

价词语褒义3730 个，贬义3116 个。

6 小结

本文对文本情感分析预处理的过程做了

详细的介绍，对采集到的含有较多数据噪声的

文本，先进行分词和去停用词，在此基础上对

当前处理好的文本进行特征选择和特征项加

权，最后将文本用空间向量（VSM）的形式

表示，便于计算机识别并为文本分类提供方便。

作者单位

重庆师范大学计算机与信息科学学院 重庆市

401331

Data Base Technique • 数据库技术