网站首页  词典首页

标题	基于公共词集对长篇小说相似度的研究
范文	郭涛 霸元婕 李绍昂 摘 要：传统的文本相似度计算基于向量空间模型（VSM），文本映射成独立的、互不关联的词构成的向量。由于长篇小说具有比普通文本更为复杂的构成元素，以及更加紧密的上下文联系，传统算法忽略词项的上下文联系，并且产生高维向量，因此算法的效率和精度不理想。为此，本文基于公共词集对长篇小说进行相似度计算，并对公共词集进行上下文约束检查，得到关联比较紧密的词集，作为小说的主要特征。实验结果表明，对于某些小说类型，效果有很大的提升。 关键词：公共词集；小说相似度；上下文约束 中图分类号：TP391.1 文献标识码：A Abstract：Traditional text similarity computation is based on Vector Space Model （VSM），where the text is mapped into independent and unrelated words.Because novels have more complex elements and much closer context than ordinary texts，the traditional algorithm ignores the context of the words and produces the high dimensional vector，so that the efficiency and accuracy of the algorithm are not ideal.For this reason，this paper calculates the similarity of the novels based on the common word set，and carries out the context constraint check on the common word set to achieve a more closely related word set as the main feature of the novel.The experimental results show that for some types of novels，the effect is greatly improved. Keywords：common word set；novel similarity；context constraint 1 引言（Introduction） 随着互联网技术的发展，网络上的文本数据呈现爆炸式增长，文本处理算法的相关研究也随之发展起来。其中，文本相似度计算成为热点研究方向，其目的在于建立一个合理的衡量模型，对文本间的相似程度进行量化。小说作为一种文学作品，与普通文本有较大区别，小说的构成要素要比普通文本复杂很多，比如时间、地点、人物、社会、环境等等，并且小说的上下段落、上下情节之间联系十分紧密。所以，必须要从新的角度建立小说相似度的衡量模型。 目前经典的文本相似度计算算法大部分基于向量空间模型（VSM）[1]。向量空间模型将文本视作由独立的、互不关联的词构成的一个向量，并且把词语在文中出现的频数作为文本的主要特征。通过将文本映射成一个向量模型，文本相似度计算也就转换成向量之间的相似度计算。小说作为一种特殊的文本类型，词语之间的关联比普通的文本更加紧密，如果依然将小说表示成向量空间模型，将失去很多重要的特征信息，尤其是词条间的上下文信息，词语之间的关联隐含着情节信息，对文义的理解起着至关重要的作用[2]。不仅如此，对于长篇小说而言，向量空间模型将产生一个维数十分巨大的向量，严重影响算法的效率，问题将变得不可行。 本文主要介绍了一种基于公共词集对长篇小说相似度研究的算法[3]。对小说进行预处理后，建立Map映射结构，在构建公共词集的过程中，加入上下文约束，最终得到满足上下文约束的若干词集簇，并以此作为衡量相似度的依据，建立相似度衡量算法，并通过实验验证算法可行。 2 相关工作（Related work） 2.1 向量空间模型 文本的内容特征常常用它所含有的基本语言单位，如字、词或者短语等来表示，这些基本的语言单位被统称为文本的项[4]。向量空间模型（Vector Space Model，VSM）将文本D转化为由词项w构成的m维向量，即： 文本中的每个项相互独立，可以通过计算向量之间的距离来衡量文本之间的相似度。每个词项往往都赋予一个权重（Term Weight），表示该词项在文本中的重要程度。TF-IDF（Term Frequency-Inverse Document Frequency）是使用最广泛的一种权重计算方法，公式如下： 其中，表示词项的出现频数，表示文档集中文本数量，表示词项在文档集中包含该词项的文本数量。 在文本中的出现频率反映该词项的重要程度，词项在多个文本中的出现情况反映了词项的文义甄别能力，TF-IDF综合考虑了以上两点，每一个词项的权重由TF权值和IDF权值两个部分组成。通过计算向量之间的余弦角，可以得到两个文本向量之间的相似程度，定义如下： 2.2 公共词集 从小说的词法方面研究其文本特征，如果不考虑词项之间的先后顺序，可以比较小说词域之间的相交程度来衡量相似度。将小说的词集提取出来，两篇小说的公共词集可以反映小说在用词造句方面的相似性[5]。相对于两篇小说的平均文本长度而言，如果公共词集包含的词项数越多，小说的相似程度越高，两篇小说的用词方式更为接近；反之，若公共词集包含的词项数越少，相似程度越低。在对小说进行文本預处理操作后，分别统计词项的频数和位置信息，可以得到小说N1和N2的公共词集CWS，公共词集中的元素由词项和词项在小说中的频数构成。可以用采取如下计算公式计算相似度：
随便看	初中政治教学思路探析 浅谈运用英语歌曲提高初中学生听力的尝试 微课在高中物理教学中的应用 关于初中美术课堂创新教学的有效方法分析 高中数学教学中培养数学思维能力的实践探析 高中生计算思维能力培养 教学资源的有效利用 趣味教学法在初中体育教学中的研究与运用 语文教学中帮助学生通过阅读名著吸收知识的路径探究 少数民族地区留守儿童心理探讨 强化职校英语语法教学的实践与思考 心理健康教育在小学班主任工作中的渗透 开展有效互动，让信息技术变成智慧的海洋 浅析高中数学情感目标及影响因素 浅析初中作文素材积累的途径与方法 加强作业设计，提高教学实效 适度混搭：让高中音乐欣赏教学更精彩 擦亮蒙尘的眼睛 结合实例谈病句辨析与修改 再议校园足球训练中常见损伤 初中班主任情感教育方法探析 新课程改革形势下高中音乐教学的创新 再谈教师与学生的有效沟通 班级管理，向校园霸凌巧说“不” 高中数学“问题解决”教学模式初探 quasi-prosperously quasi-protected quasi-proud quasi-proudly quasi-provincial quasi-provincially quasi-provocative quasi-provocatively quasi-publicly quasi-punished quasi-purchased quasi-qualified quasi-radical quasi-radically quasi-rational quasi-rationally quasi-realistic quasi-realistically quasi-reasonable quasi-reasonably quasi-rebellious quasi-rebelliously quasi-recent quasi-recently quasi-recognized 胸中磊磈 胸中礴磊 胸中脱去尘浊，自然丘壑内营 胸中自有雄兵百万 胸中郁积忧愁、烦闷或不平之气 胸中锦 胸中隐甲兵 胸中鳞甲 胸像 胸凸背驼，外形丑陋 胸前 胸前两旁的高处 胸前生疮，背后流脓 胸前的肉 胸前的衣襟 胸卡 胸口 胸口上挂剪刀 胸口上挂灯草——吊（掉）以轻心 胸口上挂笊篱——捞心 胸口上挂笊篱——捞（劳）心 胸口上长瘤子——生了外心 胸口乱跳 胸口外面生杂草 胸口安雷管

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。