基于MVC模式的网络舆情管理系统的研究与应用
刘云花+黎泉
摘 要： 针对网络舆情的隐蔽性与广泛性对相关技术具有限制性的缺点，提出了一种基于MVC模式的网络舆情管理系统。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，以实现对网络舆情的高效采集、准确监控与预警。最后对该系统进行验证，结果表明，该系统具有较强的实用性，满足了用户需求。
关键词： 网络舆情管理； MVC模式； 结构设计； 聚类； Java
中图分类号： TN711?34； TP393 文献标识码： A 文章编号： 1004?373X（2017）24?0031?03
Abstract： In allusion to the covertness and extensiveness of network public opinions， and their constraints to the relevant technologies， a network public opinion management system based on MVC model is proposed. Apache server， Java development language and AJAX technology are used in the system based on the Windows platform to realize efficient collection， accurate monitoring and early warning of network public opinions. The system was verified. The results show that the system has strong practicality and can meet users′ needs.
Keywords： network public opinion management； MVC model； structure design； clustering； Java
0 引 言
互联网随着信息技术的发展已成为越来越重要的媒体，互联网舆情监测能力也已备受政府关注[1?3]。针对网络舆情的隐蔽性与广泛性对相关技术存在限制性的缺点，本文提出一种基于MVC模式的网络舆情管理系统，旨在提高互联网舆情检测能力。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，且实现基于模型?试图?控制（Model?View?Control，MVC）的系统技术架构以解决系统结构设计问题。从而达到对网络舆情的高效采集、准确监控与预警。
1 系统架构技术
本文通过分析网络舆情管理需求，采用MVC三层架构设计该系统，以有效解决系统结构设计问题。其中MVC是应用于交互式的Web，尤其适用于存在大量客户访问的情况[4?5]。该系统架构所用技术包括网络蜘蛛技术、垂直搜索采集、文本預处理与聚类和信息分析跟踪技术。网络蜘蛛技术辅助获取舆情语料的核心是不断通过网页中的超链接获取其他各个网页内容，其工作流程如图1所示。
垂直搜索采集技术是搜索引擎的一个细分。相比于普通搜索引擎是抽取所有网页内容，垂直搜索引擎则仅是对相关行业信息进行整合[6]。网页文本预处理技术是对网页进行去重与特征提取，文本聚类则是为了方便人们在海量文献中定位有用文献而对文献进行的有效分类方法，目前常用的有六类聚类方法：划分、层次、密度分类、网络分类和基于模型的方法。通过文本聚类得到关注的网站，对其进行舆情分析与跟踪，并分析文章语境进行情感倾向性判断。
2 网络舆情管理系统需求分析
网络舆情管理系统是实时分析管理与监督网络舆情信息，并将处理结果向用户展示的系统。在设计系统时，需考虑其功能可扩展性与后期的可维护性。同时，系统分析信息需全面广泛覆盖网络媒介。网络舆情监督管理系统结构图如图2所示。
网络舆情监管系统功能主要包括舆情规划、检索收集、统计分析、预警和分类评估功能。网络舆情规划是设定监督主题，并确定搜索范围；网络舆情检索由全文数据库提供检索功能；系统的关键是舆情分析，使用数据库和数据挖掘等技术对海量数据进行分析以实现舆情信息的精确管理；通过设置阈值系统实现自动报警；舆情分类评估是分析总结与备案舆情事件，分析统计舆情热点，为优化舆情监督系统提供依据。除以上所述功能外，该系统还包括个性化、用户权限管理与数据维护等功能。系统简要流程如图3所示。系统功能结构关系图如图4所示。
该系统的性能需求是满足准确数据输入、输出与远程传输。系统对本地局域网的响应速度不超过5 s，远程用户的响应速度不超过10 s，且要保证数据访问与传输的安全性，以及应用级数据库的安全。
3 系统设计
3.1 系统架构
本文设计的系统采用MVC先进架构与B/S结构，根据监督站点数量决定信息采集服务器个数，服务器为主流服务器、Linux 操作系统。可根据实际情况调整其他应用模块服务器的数量，最终实现基于浏览器的瘦客户端模式[7?8]。该系统网络拓扑图如图5所示。系统开发采用Java语言，使用标准通信协议，数据库为SQL Server，以提高系统性能，网页显示界面采用HTML与AJAX集成技术。该系统技术架构如图6所示。
3.2 数据库设计
数据库设计需要按照数据规模进行设计，并充分考虑数据容量。该设计主要有逐步分解数据流对数据进行分析与面向对象依据功能对数据分类这两种策略[9?10]。数据库根据系统功能而产生，一般设计过程包括目标确定与数据收集、概念设计、数据模型建立、数据库的维护。
3.3 系统功能与安全设计
该系统主要由信息采集、信息检索、信息分析与服务三个模块构成，如图7所示。系统从大量Web页面采集信息并进行结构化存储供系统数据分析，系统中最为关键的处理模块是舆情分析模块，采用聚类方法分析挖掘预处理后的素材信息。
系统安全问题始终是系统构建者需要着重考虑的，本系统采用IP控制、验证码、三方认证和加密锁等措施应对恶意攻击与入侵情况。
4 系统实现与验证
该系统基于Windows系统开发，运行采集爬虫与并行搜索以提高效率。所实现系统的登录界面如图8所示。用户管理界面如图9所示。其包括用户创建、删改、访问权限的管理与用户信息查询、登录记录等功能。舆情采集事件管理实现界面如图10所示。本文最后对系统进行功能测试，并给出了测试报告。通过测试报告可看出，本文所设计的系统准确性高，具有较强的实用性，能满足用户需求。
5 结 语
针对网络舆情的隐蔽性与广泛性对相关技术存在限制性的缺点，本文提出一种基于MVC模式的网络舆情管理系统。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，以实现对网络舆情的高效采集、准确监控与预警。本文最后对该系统进行验证，结果表明该系统具有较强的实用性，满足了用户需求。
参考文献
[1] 丁学君.基于SIR的SNS网络舆情话题传播模型研究[J].计算机仿真，2015，32（1）：241?247.
[2] 史玉珍，单冬红.基于Hadoop的网络舆情监控平台的研究[J].电子测试，2015（9）：71?73.
[3] 李宇博.基于文本聚类技术的网络舆情分析系统的研究与应用[D].天津：天津工业大学，2016.
[4] 丁蒙蒙.突发事件网络舆情监测指标体系构建研究[D].成都：电子科技大学，2015.
[5] EDWARDS J， MCCURLEY K， TOMLIN J. An adaptive model for optimizing performance of an incremental Web crawler [J]. Association for computing machinery， 2001： 106?113.
[6] 孟强，李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术，2017，25（1）：59?62.
[7] 肖紅，许少华.改进的话题检测和跟踪算法研究[J].计算机技术与发展，2014（9）：84?88.
[8] CHANG F， DEAN J， GHEMAWAT S， et al. A distributed storage system for structured data [C]// Proceedings of the 7th Symposium on Operating System Design and Implementation， 2006： 205?218.
[9] 房春波.“微时代”高校网络舆情生成与干预机制研究[J].通讯世界，2016（5）：252?253.
[10] MEHRA A. The development of social network analysis： a study in the sociology of science by Linton C. Freeman [J]. Empirical press， 2005， 50（1）： 148?151.
摘 要： 针对网络舆情的隐蔽性与广泛性对相关技术具有限制性的缺点，提出了一种基于MVC模式的网络舆情管理系统。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，以实现对网络舆情的高效采集、准确监控与预警。最后对该系统进行验证，结果表明，该系统具有较强的实用性，满足了用户需求。
关键词： 网络舆情管理； MVC模式； 结构设计； 聚类； Java
中图分类号： TN711?34； TP393 文献标识码： A 文章编号： 1004?373X（2017）24?0031?03
Abstract： In allusion to the covertness and extensiveness of network public opinions， and their constraints to the relevant technologies， a network public opinion management system based on MVC model is proposed. Apache server， Java development language and AJAX technology are used in the system based on the Windows platform to realize efficient collection， accurate monitoring and early warning of network public opinions. The system was verified. The results show that the system has strong practicality and can meet users′ needs.
Keywords： network public opinion management； MVC model； structure design； clustering； Java
0 引 言
互联网随着信息技术的发展已成为越来越重要的媒体，互联网舆情监测能力也已备受政府关注[1?3]。针对网络舆情的隐蔽性与广泛性对相关技术存在限制性的缺点，本文提出一种基于MVC模式的网络舆情管理系统，旨在提高互联网舆情检测能力。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，且实现基于模型?试图?控制（Model?View?Control，MVC）的系统技术架构以解决系统结构设计问题。从而达到对网络舆情的高效采集、准确监控与预警。
1 系统架构技术
本文通过分析网络舆情管理需求，采用MVC三层架构设计该系统，以有效解决系统结构设计问题。其中MVC是应用于交互式的Web，尤其适用于存在大量客户访问的情况[4?5]。该系统架构所用技术包括网络蜘蛛技术、垂直搜索采集、文本預处理与聚类和信息分析跟踪技术。网络蜘蛛技术辅助获取舆情语料的核心是不断通过网页中的超链接获取其他各个网页内容，其工作流程如图1所示。
垂直搜索采集技术是搜索引擎的一个细分。相比于普通搜索引擎是抽取所有网页内容，垂直搜索引擎则仅是对相关行业信息进行整合[6]。网页文本预处理技术是对网页进行去重与特征提取，文本聚类则是为了方便人们在海量文献中定位有用文献而对文献进行的有效分类方法，目前常用的有六类聚类方法：划分、层次、密度分类、网络分类和基于模型的方法。通过文本聚类得到关注的网站，对其进行舆情分析与跟踪，并分析文章语境进行情感倾向性判断。
2 网络舆情管理系统需求分析
网络舆情管理系统是实时分析管理与监督网络舆情信息，并将处理结果向用户展示的系统。在设计系统时，需考虑其功能可扩展性与后期的可维护性。同时，系统分析信息需全面广泛覆盖网络媒介。网络舆情监督管理系统结构图如图2所示。
网络舆情监管系统功能主要包括舆情规划、检索收集、统计分析、预警和分类评估功能。网络舆情规划是设定监督主题，并确定搜索范围；网络舆情检索由全文数据库提供检索功能；系统的关键是舆情分析，使用数据库和数据挖掘等技术对海量数据进行分析以实现舆情信息的精确管理；通过设置阈值系统实现自动报警；舆情分类评估是分析总结与备案舆情事件，分析统计舆情热点，为优化舆情监督系统提供依据。除以上所述功能外，该系统还包括个性化、用户权限管理与数据维护等功能。系统简要流程如图3所示。系统功能结构关系图如图4所示。
该系统的性能需求是满足准确数据输入、输出与远程传输。系统对本地局域网的响应速度不超过5 s，远程用户的响应速度不超过10 s，且要保证数据访问与传输的安全性，以及应用级数据库的安全。
3 系统设计
3.1 系统架构
本文设计的系统采用MVC先进架构与B/S结构，根据监督站点数量决定信息采集服务器个数，服务器为主流服务器、Linux 操作系统。可根据实际情况调整其他应用模块服务器的数量，最终实现基于浏览器的瘦客户端模式[7?8]。该系统网络拓扑图如图5所示。系统开发采用Java语言，使用标准通信协议，数据库为SQL Server，以提高系统性能，网页显示界面采用HTML与AJAX集成技术。该系统技术架构如图6所示。
3.2 数据库设计
数据库设计需要按照数据规模进行设计，并充分考虑数据容量。该设计主要有逐步分解数据流对数据进行分析与面向对象依据功能对数据分类这两种策略[9?10]。数据库根据系统功能而产生，一般设计过程包括目标确定与数据收集、概念设计、数据模型建立、数据库的维护。
3.3 系统功能与安全设计
该系统主要由信息采集、信息检索、信息分析与服务三个模块构成，如图7所示。系统从大量Web页面采集信息并进行结构化存储供系统数据分析，系统中最为关键的处理模块是舆情分析模块，采用聚类方法分析挖掘预处理后的素材信息。
系统安全问题始终是系统构建者需要着重考虑的，本系统采用IP控制、验证码、三方认证和加密锁等措施应对恶意攻击与入侵情况。
4 系统实现与验证
该系统基于Windows系统开发，运行采集爬虫与并行搜索以提高效率。所实现系统的登录界面如图8所示。用户管理界面如图9所示。其包括用户创建、删改、访问权限的管理与用户信息查询、登录记录等功能。舆情采集事件管理实现界面如图10所示。本文最后对系统进行功能测试，并给出了测试报告。通过测试报告可看出，本文所设计的系统准确性高，具有较强的实用性，能满足用户需求。
5 结 语
针对网络舆情的隐蔽性与广泛性对相关技术存在限制性的缺点，本文提出一种基于MVC模式的网络舆情管理系统。该系统基于Windows平台，应用Apache服务器，采用Java开发语言，并结合AJAX技术，以实现对网络舆情的高效采集、准确监控与预警。本文最后对该系统进行验证，结果表明该系统具有较强的实用性，满足了用户需求。
参考文献
[1] 丁学君.基于SIR的SNS网络舆情话题传播模型研究[J].计算机仿真，2015，32（1）：241?247.
[2] 史玉珍，单冬红.基于Hadoop的网络舆情监控平台的研究[J].电子测试，2015（9）：71?73.
[3] 李宇博.基于文本聚类技术的网络舆情分析系统的研究与应用[D].天津：天津工业大学，2016.
[4] 丁蒙蒙.突发事件网络舆情监测指标体系构建研究[D].成都：电子科技大学，2015.
[5] EDWARDS J， MCCURLEY K， TOMLIN J. An adaptive model for optimizing performance of an incremental Web crawler [J]. Association for computing machinery， 2001： 106?113.
[6] 孟强，李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术，2017，25（1）：59?62.
[7] 肖紅，许少华.改进的话题检测和跟踪算法研究[J].计算机技术与发展，2014（9）：84?88.
[8] CHANG F， DEAN J， GHEMAWAT S， et al. A distributed storage system for structured data [C]// Proceedings of the 7th Symposium on Operating System Design and Implementation， 2006： 205?218.
[9] 房春波.“微时代”高校网络舆情生成与干预机制研究[J].通讯世界，2016（5）：252?253.
[10] MEHRA A. The development of social network analysis： a study in the sociology of science by Linton C. Freeman [J]. Empirical press， 2005， 50（1）： 148?151.
