《双通道卷积记忆神经网络文本情感分析》-工学论文，软件工程论文-论文范文参考-科学狗论文网

标题

双通道卷积记忆神经网络文本情感分析

范文

苏灵松应捷杨海马肖昊琪

摘要：近年来，电子商务发展迅速，对电商商品评论进行情感分析可为消费者购物、商家调整销售策略与电商平台个性化推荐提供重要参考意见，因此提出双通道卷积记忆神经网络文本情感分析模型。首先，通过词向量与由特征词典构造的扩展特征矩阵两个不同的通道进行卷积运算，再利用卷积神经网络提取文本局部最优信息，最后利用长短期记忆神经网络学习长距离的上下文情感，完成文本情感分析任务。实验结果表明，与多种文本情感分析方法相比，双通道卷积记忆神经网络文本分析算法具有较高的精度，达到95%，且考虑了文本语义信息与文本情感信息，可获得更好的文本表示，同时兼顾文本局部特征与上下文信息的学习，可有效提高文本情感分析准确率。

关键词：电子商务;商品评论;文本情感分析;卷积记忆神经网络

DOI：10. 11907/rjdk. 182697 开放科学（资源服务）标识码（OSID）：

中图分类号：TP3-0文献标识码：A 文章编号：1672-7800（2019）007-0032-05

Text Sentiment Analysis of Dual-Channel Convolutional Memory Neural Network

SU Ling-song，YING Jie，YANG Hai-ma，XIAO Hao-qi

（School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract：In recent years， e-commerce has developed rapidly. The purpose of sentiment analysis of e-commerce reviews is to provide an important reference for consumers to buy， merchants to adjust sales strategy and personalized recommendation of e-commerce platform. A text sentiment analysis algorithm based on the double channel convolution memory neural network is presented. Firstly， the convolution operation was carried out by using two different channels， namely， the word vector and the extended feature matrix constructed by feature dictionaries. Secondly， convolution neural network was used to extract the local optimal information of the text. Finally， long-term and short-term memory neural network was used to learn long distance context sentiment so as to complete text sentiment analysis task. Experimental results show that the proposed algorithm has higher accuracy compared with many text sentiment analysis methods. Dual-channel convolutional memory neural network text analysis algorithm considers the semantic information and emotional information of text to get better text representation. It also takes into account the local features of the text and the learning of context information， which can effectively improve the accuracy of text emotional analysis.

Key Words：e-commerce; product review; text sentiment; convolution memory neural network

作者簡介：苏灵松（1993-），男，上海理工大学光电信息与计算机工程学院硕士研究生，研究方向为智能检测与分析;应捷（1973-），女，博士，上海理工大学光电信息与计算机工程学院副教授、硕士生导师，研究方向为智能检测与分析、机器视觉检测技术;杨海马（1979-），男，博士，上海理工大学光电信息与计算机工程学院副教授、硕士生导师，研究方向为智能检测与量子通信技术;肖昊琪（1996-），女，上海理工大学光电信息与计算机工程学院学生，研究方向为信号与信息处理。

0 引言

近年来，电商平台发展迅速，网络购物成为大众日常行为，消费者网购后通常会对商品进行售后评价，表达其对商品及服务的看法。针对商品评论文本进行情感分析，可同时为消费者购物、商家制定销售策略和电商平台进行个性化商品推荐提供重要参考。

文本情感分析又称为意见挖掘、倾向性分析，实质是对带有情感色彩的文本立场、观点、情感倾向等信息进行挖掘[1]。目前文本情感分析的主要研究方法是基于传统机器学习的方法[2]，常用模型有樸素贝叶斯模型（Naive Bayes）、支持向量机模型（Support Vector Machine）、逻辑回归模型（Logistic Regression）和K近邻模型（K Nearest Neighbors）等。曾宇、刘培玉[2]提出特征加权融合的朴素贝叶斯情感分类算法，将相同极性情感词作为特征整体，通过调整整体特征对文本情感贡献度的权值，提高模型分类准确率;邢玉娟[3]提出基于混合特征云向量模型与SVM的文本情感分类算法，结合文本的TF-IDF权重特征及词性特征生成云向量模型作为支持向量机的输入，再进行文本情感分类，取得了良好的分类准确率与训练速度;李平、戴月明等[4]提出基于混合卡方统计量与逻辑回归的文本情感分析算法，通过混合特征频率系数、逆文档频率系数及负相关性系数的卡方统计量提取特征，然后采用模拟退火原理自适应选择步长的逻辑回归方法进行文本情感分析，具有较好的文本情感分类质量。

近年来，随着互联网的急速发展，累积了海量的文本数据待处理，深度学习在大数据时代应运而生，在进行大规模数据处理时，深度学习相较于传统机器学习有显著优势。在文本情感分析领域，众多深度学习模型分类性能表现优异，如卷积神经网络（Convolutional Neural Network，CNN）、长短期神经网络（Long Short-term Memory Neural Network，LSTM）[5-7]。陆正球等[8]提出基于卷积神经网络的社交媒体文本情感分析算法，先对语料进行词向量初始化，输入卷积网络层、隐含层、嵌入层、分类层完成评论数据情感分类，得到较高的分类准确率;刘建兴等[9]提出一个基于深度双向长短时记忆循环神经网络（DB-LSTM-RNN）的情感分析预测模型，用词嵌入的方法学习文本分布式表示，并将其作为预训练向量，用深度双向长短时记忆网络模型进行序列学习，将该结构学习到的深层表示输入到机器学习分类器中进行情感分类，取得了较好的准确率;李平、戴月明、吴定会[10]提出双通道卷积神经网络文本情感分析算法，采用字向量与词向量作为卷积神经网络两个输入通道，字作为句子最小单位，可辅助词向量获取更深层次的语义特征，取得良好的分类效果。单独的CNN可获取时间或空间局部最优特征，虽避免了人工提取特征引起的弊端，却缺乏获取序列相关性的能力;单独的LSTM虽然能获取句子上下文信息，却无法获取平行的局部特征，而且仅使用深度学习的方法进行文本情感分析无法有效利用前人研究积累的情感词典、语言学结构知识等[11]。如何基于深度神经网络使用已有情感资源取得更好的情感分类效果，是亟待解决的问题。

因此，本文提出双通道卷积记忆神经网络的文本情感分析方法，将词向量与扩展特征向量作为模型的两个输入通道，模型融合CNN、LSTM，通过CNN提取出商品评论文本局部特征，作为下一层LSTM网络输入，LSTM获取句子上下文情感倾向信息，最后通过Softmax分类器完成文本情感分析任务。通过词向量可获取文本语义信息，由情感词、词性、程度副词、否定词、标点符号5种词语特征[12]构成扩展特征向量可充分利用已有的情感资源，学习文本中每个词的情感信息，既考虑了文本语义信息，又考虑了文本情感信息，从而得到了更好的文本表示，有利于后续模型的训练。模型融合了CNN与LSTM的优点[13-14]，在学习局部平行特征的同时还可学习上下文信息，提高文本情感分析效果。

1 双通道卷积记忆神经网络模型

双通道卷积记忆神经网络结构如图1所示，包含4级结构：在输入层中，利用Google研发的Word2vec工具训练商品评论文本，获取词向量，选取文本情感倾向影响较大的5种词语特征（情感词、词性、程度副词、否定词、标点符号）作为扩展特征;在卷积层中，使用两个输入通道传递的扩展特征向量与词向量，通过不同的卷积核，提取多种平行的局部特征;在时序层中，利用从卷积层得到的局部特征进行学习，获取其上下文历史信息特征，得到兼具局部特征与上下文信息特征的特征向量;最终在输出层中，利用Softmax分类器得到情感分析结果。

图1 双通道卷积记忆神经网络模型

1.1 输入层

1.1.1 词向量

Word2vec是很好的开源词向量训练工具，通过对输入文本进行训练，可将文本中每个词都转化为一个维度大小固定的低维稠密向量，从而将对文本的处理简化为向量运算，向量之间的相似度或距离可代表词之间语义相似度或距离。本文运用Word2vec工具，选择Skip-gram语言模型训练得到词向量[15]。

1.1.2 扩展特征

为利用现有情感资源与语言学结构知识，增强文本情感信息表示，将其纳入扩展特征向量作为神经网络模型输入。首先挑选可显著影响文本情感倾向的5种词语特征作为扩展特征，包括情感词、词性（如副词、形容词、动词）、程度副词、否定词、标点符号（如感叹号、问号）;然后根据每个扩展特征对情感分类的贡献强度分别赋予强度值，如表1所示，最后利用以上特征将文本映射为扩展向量，将文本的每个词分别与上述特征进行匹配，匹配成功时将强度值赋值给对应特征，否则赋值为0。

表1 各扩展特征及其强度值

各扩展特征设计方法如下：

（1）情感词特征。情感词是进行情感极性判定的重要参考依据。本文选取情感词典SentiWordNet的正向与负向情感词构建情感词典。将正、负向情感词强度值分别设为1和-1。

（2）词性特征。Kim 等[16]发现动词、形容词、副词等词性是表达情感的主要标志，故将其作为扩展特征之一，首先使用自然语言处理工具包（Natural Language Toolkit，NLTK）对文本进行词性标注，然后选取标注结果中的动词、形容词、副词等作为词性特征，各自强度值如表1所示。

对式（10）取对数为：

[logP（τ|x，θ）=sθ（x）τ-log（？i∈Tesθ（x）τ）]? ? ? （11）

采用随机梯度下降（SGD）使负似然函数最小化为：

[θ→α（x，y）∈D-logP（y|x，θ）]? ? ? ? ? ? ? （12）

其中，x表示一个文本，y表示该文本情感标签。

1.5 模型评价指标

准确率（precision）是文本情感分析常用评价指标，指分类器正确分类样本数与总样本数之比，在文本情感分类中，即正确情感分类文本数与总情感分类文本数之比[18]。

[Accuacy=正确分类的文本数总文本数]? ?（13）

2 实验分析

2.1 实验数据准备

为检验模型有效性，本文选用2012年亚马逊美食评论数据集（Amazon Fine Food Reviews）共568 454个关于亚马逊食品评论。本文选取其中20 000条数据，为平衡语料，取积极、消极评论各10 000条。

积极商品评论样例为：Great taffy at a great price.? There was a wide assortment of yummy taffy.

I love thesevery tasty！！！！！！！！！！? Infact， I think I am addicted to them.

消极商品评论样例为：This contains sucralose which is basically splenda.

This is the worst tasting cola I've ever tried.

2.2 词向量训练与模型超参数设置

本文利用Python语言NLTK自然语言处理库提供的word_tokenize（）进行句子分词处理[19]。使用Google提供的开源词向量训练工具Word2vec进行词向量训练，其训练参数如表3所示。

表3 Word2vec训练参数

双通道卷积记忆神经网络模型超参数设置如表4所示。

表4 网络模型参数

1.3 实验结果与分析

本文利用基于Python语言的Tensorflow框架完成实验。Tensorflow支持多种主流神经网络模型，包括CNN、LSTM等，本文具体实验环境如表5所示。

表5 实验环境配置

为进行对比实验，利用朴素贝叶斯模型、逻辑回归模型、支持向量机模型、K近邻模型对相同的20 000条商品评论进行文本情感分析[20]。NB使用多项式朴素贝叶斯，训练时参数设置为：添加Laplace平滑参数，平滑项参数alpha设为1.0;fit_prior设为True，表示学习先验概率;类别先验概率class_prior设为None;逻辑回归模型参数设置为：正则化选择参数penalty为l2，惩罚系数C为5，优化算法solver参数为saga;支持向量机模型[21]参数设置为：惩罚系数C为160，高斯核函数参数g为1.2。kNN模型参数设置如下：邻居数量n_neighbors为3。实验结果见图3。

图3 对比模型准确率

双通道卷积记忆神经网络模型对相同的20 000条商品评论进行情感分析得到的准确率曲线见图4。当迭代次数达到1 000次后，模型准确率稳定在95%以上。

图4 双通道卷积记忆神经网络模型准确率

为方便对比，将模型实验结果汇总如表6所示。

表6 模型比较结果

通过对以上实验结果进行分析，发现双通道卷积记忆神经网络模型情感分类准确率达到95%，优于所有对比模型，原因在于本文模型融合了卷积神经网络与长短期记忆神经网络，在考虑商品评论文本局部特征信息的同时，也考虑了文本上下文信息特征，同时增加了扩展特征向量的双通道输入，更好地利用了已有情感资源与语言学结构知识，增强了对文本情感特征的表示，使本文模型对商品评论情感分析性能明显提升。

3 结语

本文提出了一种双通道卷积记忆神经网络文本情感分析方法。该方法分别在词向量与扩展特征向量两个不同的通道上进行卷积，利用词向量捕捉文本语义特征，利用扩展特征向量捕捉文本情感特征，以此得到更优质的特征;同时融合CNN和LSTM两种神经网络，通过CNN捕捉文本局部特征，通过LSTM捕捉文本上下文情感，模型文本情感分类准确率达到了95%。但是，模型在得到较高准确率的同时，也存在不足之处：模型训练时间比较长，因为受卷积神经网络并行结构限制，多提取一种窗口类型的局部语义特征，需要增加一种并行卷积层，模型在训练和预测过程中的计算量会大大增加。在下一步研究中，将针对模型训练与预测时间进行更加深入的研究，在保证高准确率的同时，用更短的时间完成文本情感分類。

参考文献：

[1] 罗毅，李利，谭松波，等. 基于中文微博语料的情感倾向性分析[J]. 山东大学学报：理学版，2014，49（11）：1-7.

[2] 曾宇，刘培玉，刘文锋，等. 特征加权融合的朴素贝叶斯情感分类算法[J]. 西北师范大学学报：自然科学版，2017，53（4）：56-60.

[3] 邢玉娟. 基于混合特征云向量模型和SVM的文本情感分类[J]. 宁夏大学学报：自然版，2017，38（1）：69-73.

[4] 李平，戴月明，王艳. 基于混合卡方统计量与逻辑回归的文本情感分析[J]. 计算机工程，2017，43（12）：192-196.

[5] ZHOU C，SUN C，LIU Z，et al. A C-LSTM neural network for text classification[J]. Computer Science，2015，1（4）：39-44.

[6] HUANG Q，CHEN R，ZHENG X，et al. Deep sentiment representation based on CNN and LSTM[J]. International Conference on Green Informatics，2017：30-33.

[7] SATO M，ORIHARA R，SEI Y，et al. Text classification and transfer learning based on character-level deep convolutional neural networks[C]. Proceeding of Agents and Artificial Intelligence -9th International Conference，2017：62-81.

[8] 陆正球，王麟阁，周春良. 基于卷积神经网络的社交媒体文本情感分析[J]. 现代信息科技，2018，2（2）：89-92.

[9] 刘建兴，蔡国永，吕光瑞，等. 基于深度双向长短时记忆网络的文本情感分类[J]. 桂林电子科技大学学报，2018，38（2）：122-126.

[10] 李平，戴月明，吴定会. 双通道卷积神经网络在文本情感分析中的应用[J]. 计算机应用，2018，38（6）：1542-1546.

[11] 黄仁，张卫. 基于word2vec的互联网商品评论情感倾向研究[J]. 计算机科学，2016，43（s1）：387-389.

[12] 杜永萍，陈守钦，赵晓铮. 基于特征扩展与深度学习的短文本情感判定方法[J]. 计算机科学，2017，44（10）：283-288.

[13] LIAO S Y，WANG J B，YU RY，et al. CNN for situations understanding based on sentiment analysis of twitter data[C]. 8th International Conference on Advances in Information Technology，2017：376-381.

[14] ALEC Y，ABHISHEK V. Deep CNN-LSTM with combined kernels from multiple branches for IMDb review sentiment analysis[C].? IEEE 8th Annual Ubiquitous Computing Electronics and Mobile Communication Conference，2017：540-546.

[15] BIRD S，KLEIN E，LOPER E. Natural language processing with Python[M]. 陈涛，张旭，崔杨，刘海平，译. 北京：人民邮电出版社，2014.

[16] KIM S M，HOVY E. Automatic detection of opinion bearing words and sentences[EB/OL]. https：//dblp.uni-trier.de/db/conf/ijcnlp/ijcnlp2005-2.html.

[17] 朱俭. 文本情感分析关键技术研究[M]. 北京：中国社会科学出版社，2015.

[18] 梁军，柴玉梅，原慧斌，等. 基于深度学习的微博情感分析[J]. 中文信息学报，2014，28（5）：155-161.

[19] 秦鋒，王恒，郑啸，等. 基于上下文语境的微博情感分析[J]. 计算机工程，2017，43（3）：241-246，252.

[20] 陈龙，管子玉，何金红，等. 情感分类研究进展[J]. 计算机研究与发展，2017，54（6）：1150-1170.

[21] 李婷婷，姬东鸿. 基于SVM和CRF多特征组合的微博情感分析[J]. 计算机应用研究，2015，32（4）：978-981.

（责任编辑：江艳）

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。