《基于注意力LSTM的评论对象分类》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

基于注意力LSTM的评论对象分类

范文

周陈超赵玲瑜赵波柳孔明孟佳洋

摘要：用户评论对网上商城有着非常重要的作用，它能极大推动潜在客户的转化。但是评论涉及商品的方方面面，数量多内容杂，需要进行分类和汇总以抽取核心信息。针对评论对象的分类问题，文章设计一个结合注意力机制的LSTM（Long Short-Term Memory）模型。模型首先使用LSTM训练用户评论，然后采用注意力机制聚焦关键信息优化分类结果。在SemEval-2014数据集上的实验结果证明，模型对评论对象分类的准确率较高。

关键词：用户评论;评论对象分类;LSTM;注意力机制

中图分类号： TP391? ? ? ? 文献标识码：A

文章编号：1009-3044（2020）32-0214-02

Abstract：User reviews play a very important role in online shopping malls， which can greatly promote the conversion of potential customers. It is difficult for ordinary users to make full use of a large number of user reviews， so it is very important to classify and summarize these reviews. Aiming at the classification of review objects， this paper proposes a Long Short-Term Memory （LSTM） model based on attention mechanism. The model first uses LSTM to train user reviews and then uses the attention mechanism to capture important information related to categories for classification. The experimental results on the SemEval-2014 dataset show that the model can effectively classify review objects。

Key words：user reviews;review object classification;long short-term memory;attention mechanism

隨着电子商务的发展，网上积聚了海量的用户评论，这些评论作为一种口碑成为用户购买决策的重要参考[1]。用户去没去过的饭店聚餐时，经常会去“大众点评”查看其他人的点评。但是，用户的点评非常多。在“大众点评”中，“全聚德”单个门店的点评就有六七千条，涉及菜品、口味、价格以及服务等方方面面，用户自己很难看完这些信息，挑着看又存在以偏概全的问题。因此需要开发系统对用户评论进行对象分类、提取摘要，为用户提供简要精准的关键内容。对评论进行分类就是其中的一项重要任务，评论的分类为进一步的情感分析和意见摘要提供精确的类别信息[2]。

用户评论对象分类目前已有一些研究。Brychcin等[3]结合Tf-Idf和词袋模型为每个类别设计一个最大熵分类器。Kiritchenko等[4]基于N-gram特征以及根据点互信息设计的词典分别为每个类别构造一个SVM分类器，分类的F1值达到88.6%。注意力机制（attention mechanism）最开始在图像分析领域取得成功，目的从众多信息中选择出对当前任务目标更关键的信息。Wang等人[5]结合注意力机制使用LSTM实现评论类别的细粒度的情感分析，效果很好。但是评论对象分类方面注意力机制的研究还不多。

文章使用预先训练好的词向量，将文字形式的评论映射到可计算的向量空间。词向量能够将语言数字化，量化表征词语之间的相关关系，并能进行计算。LSTM整合句子的语义信息，注意力机制捕捉涉及分类的关键要素，基于注意力机制的输出为所有类别分别构建一个二元分类器。

1 评论对象分类问题描述

根据事先确定的分类信息，评论对象分类问题是判断评论的句子包含哪些类别[6]。某一商品有[C={c1，c2，...，cT}] T个类别，评论数据集有[S={s1，s2，...，sK}] K个句子，针对所有句子，判断每个类别[ci]的二元标签向量[yij]。[yij=1]表示句子[sj]评论的对象包含类别[ci]，[yij=0]则表示句子[sj]评论的对象不包含类别[ci]，句子涉及的类别数不定。

2 基于注意力LSTM的评论对象分类模型（A-LSTM）

评论对象分类首先要提取出与类别有关联的特征信息，然后判断这些特征信息和类别的关系。A-LSTM基于注意力机制识别与类别有关联的特征信息，框架如图1所示。

2.1输入词向量

模型使用经Mikolov等[7]的CBOW方法预训练的词向量，[E∈Rd×|V|]，其中d是词向量的维度，即把每个词映射为d维向量，|V|表示词向量的大小，即包含多少词的词向量。根据词向量将评论中的句子[sj]转化成词向量列表[{e1，...，et，...，eLj}]，其中[ei∈Rd][6]。

2.2 LSTM提取语义信息

LSTM是一种时间循环神经网络，解决一般的循环神经网络存在的长期依赖问题[8]。LSTM能够记忆历史的文字输入信息，进而提取整个句子的语义特征用于分类训练。

2.3 注意力机制

提取与类别关联的特征信息是对评论对象进行准确分类的关键，注意力机制在这里非常有用。类别信息加入模型的计算中，结合注意力机制聚焦关键的特征信息，经Softmax计算后进行分类。模型为每个类别构造一个分类器。

句子的LSTM输出词向量[h1，h2，...，hN]记为[H∈Rd×N]，句子S的长度N，类别信息的词向量为vc。加入类别词向量后，注意力能更好地进行聚焦。

模型使用softmax将句子S关于类别vc的特征向量表达映射为关于vc的条件概率分布。

3 实验与分析

3.1 实验数据

论文使用英文的SemEval-2014 [9] Restaurant 数据集。实验使用Mikolov等人的word2vec算法预先训练的词向量，输出向量为300维，采用U（-0.01，0.01）随机初始化未登录词向量。

参考SemEval评价方法，实验结果以F1值进行比较。

其中正确率（P）和召回率（R）定义如下：

S为算法给出的标签，G是正确的标签。

3.2 實验结果

据表1，“price”“food” 以及“service”的分类准确率高， “anecdote/misc” 和“ambience”的分类准确率相对差一点。

“ambience”的分类准确率最差，主要是因为训练语料少。在训练语料中， “price”出现一百五十多次，但“ambience”仅出现二十几次。相比之下，训练出来的参数代表性不足，分类效果不佳。四个类别之外的其他类别为“anecdote/misc”类，包含的要素杂乱，没有一个准确的概括性强的类别信息加入注意力计算中，因此分类效果不好。“anecdote/misc” 和“ambience”分类准确率低，一方面是训练的数据集太少，覆盖面不够;另一方面是由于注意力计算时加入的类别词概括性和准确性不够，无法代表类别特征。这些都是下一步改进的重点。

4 结论

在评论对象的分类研究中，文章提出基于注意力机制的LSTM模型对评论对象进行分类。词向量将模糊的文字转化为可计算的、可对比的语义向量;LSTM整合评论的语义信息，注意力机制极大提高分类计算的有效性。实验结果表明模型的分类效果挺好。

下一步将针对类别词代表性不够的问题，通过整合类别特征等方法，提高类别向量的代表性，进而提升分类的效果。

参考文献：

[1] Adjei M T，Noble S M，Noble C H.The influence of C2C communications in online brand communities on customer purchase behavior[J].Journal of the Academy of Marketing Science，2010，38（5）：634-653.

[2] Liu B. Opinion Mining and Sentiment Analysis[J]. Synthesis Lectures on Human Language Technologies， 2011， 2（2）：459-526

[3] Brychcin T， Konkol M， Steinberger J. UWB： Machine Learning Approach to Aspect-Based Sentiment Analysis[C]// Semeval， 2014

[4] Kiritchenko S，Zhu X D，Cherry C，et al.NRC-Canada-2014：detecting aspects and sentiment in customer reviews[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）.Dublin，Ireland.Stroudsburg，PA，USA：Association for Computational Linguistics，2014：437-442.

[5] Wang Y Q，Huang M L，zhu X Y，et al.Attention-based lstm for Aspect-level sentiment classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin，Texas.Stroudsburg，PA，USA：Association for Computational Linguistics，2016：606-615.

[6] 周陈超，陈群，李战怀，等.基于注意力和双向LSTM的评价对象类别判定[J].西北工业大学学报，2019，37（3）：558-564.

[7] Mikolov T，Chen K，Corrado G，et al.Efficient estimation of word representations in vector space[EB/OL].2013：arXiv：1301.3781[cs.CL].https：//arxiv.org/abs/1301.3781.

[8] 秦贺然，刘浏，李斌，等.融入实体特征的典籍自动分类研究[J].数据分析与知识发现，2019，3（9）：68-76.

[9] Pontiki M，Galanis D，Pavlopoulos J，et al.SemEval-2014 task 4：aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）.Dublin，Ireland.Stroudsburg，PA，USA：Association for Computational Linguistics，2014：27-35.

【通联编辑：唐一东】

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。