网站首页  词典首页

标题	垂直搜索引擎爬虫系统DIPRE算法及改进
范文	赵君 摘 要：针对垂直搜索引擎中精确抽取网页中特定字段的问题，对DIPRE算法进行了研究和改进。阐述了DIPRE算法在垂直搜索引擎中的重要作用，探讨了DIPRE算法在抽取复杂结构网页时的不足，并提出了改进，包括种子定位方式，将单模匹配扩展成多模匹配并引入定位索引，再根据已有技术对改进后的算法进行了实验验证。结果表明，改进后的算法在精度和效率上都符合预期。 关键词关键词：垂直搜索引擎；DIPRE算法；种子定位；单模匹配；多模匹配；定位索引 DOIDOI：10.11907/rjdk.161451 中图分类号：TP312 文献标识码：A 文章编号：1672-7800（2016）008-0030-03 0 引言 垂直搜索引擎是针对某一特定领域、人群或需求提供的信息检索服务，因此垂直搜索引擎的爬虫（Spider）在抽取数据时应该具有相当的选择性。DIPRE（Dual Iterative Pattern Relation Extraction）是Google创始人之一Sergey Brin针对抽取互联网上特定格式或类型的数据而提出的一种算法，由于垂直搜索引擎具有较强的专业性和针对性，因而DIPRE算法在垂直搜索领域里具有较为广阔的应用前景，但随着Internet上的信息量呈指数级增长，网页结构越来越多样化，利用DIPRE算法抽取数据无论是在广度还是在精度上都已遇到瓶颈[1]，如何在发挥DIPRE算法优势的基础上弥补其不足成为一个值得研究的问题。 3 实验结果 实验以某大型网上书城的图书信息为检索对象，包括作者、出版社、出版时间、版次、页数共5个字段，此5个字段之间不含噪声，是测试的理想之选。使用的服务器配置如表2所示。 以采集40万条数据为测试目标，采用两种算法的爬虫检索性能情况如表3所示。 通过抽样检测，以上检索的ER值均低于10%。根据表3绘制出性能对比图，如图4所示。 由式（3）、式（5）和图4可知，爬虫检索页面时间和页面数量呈线性关系，其中采用传统DIPRE算法的斜率为t1+α·β·t2，采用改进后算法的斜率为t1+α·γ·t2；改进后算法的效率要略低于原算法，即γ值要大于β值。 4 结语 本文对DIPRE算法进行了扩展和改进，将原算法中的单模模式扩展成多模模式，同时引入定位索引，使得改进后的算法具有很强的实用性和可扩展性。实验结果表明，改进后算法的性能曲线斜率要比原算法的大，效率比原算法低，这是因为||过小导致无法有效过滤数据，使得L远大于R中字段数量，爬虫检索了很多无效值，降低了检索效率。在后续改进中，重点在于降低式（5）中的值，即L的值，这就必须使||达到一个合理的范围，图2中阐述的前后綴延伸方法是个不错的解决方案，如何控制延伸的程度则是后续研究的主要内容。 参考文献： [1]OREN KURLAND，LILLIAN LEE.PageRank without hyperlinks[J].ACM Transactions on Information Systems （TOIS），2010，28（4）：1-38. [2]LIU GUI-MEI.An adaptive improvement on PageRank algorithm[J].Applied Mathematics：A Journal of Chinese Universities（Series B），2013，28（1）：17-26. [3]GHOLAM R AMIN，ALI EMROUZNEJAD.Optimizing search engines results using linear programming[J].Expert Systems With Applications，2011，38（9）：11534-11537. [4]LIN LI，GUANDONG XU，YANCHUN ZHANG，et al.Random walk based rank aggregation to improving web search[J].Knowledge-Based Systems，2011，24（7）：943-951. [5]E GARCIA，F PEDROCHE，M ROMANCE.On the localization of the personalized PageRank of complex networks[J]. Linear Algebra and Its Applications，2013，439（3）：640-652. [6]SHAYAN A，TABRIZI，AZADEH SHAKERY，et al.Personalized pagerank clustering：a graph clustering algorithm based on random walks[J].Physica A：Statistical Mechanics and its Applications，2013，12（5）：15-24. [7]ALEXGOH KWANG LENG，P RAVI KUMAR，ASHUTOSHKUMAR SINGH，et al.Link-Based spam algorithms in adversarial information retrieval[J].Cybernetics and Systems，2012，43（6）：459-475. [8]LI LIAN，ZHU AI HONG，SU TAO.An improved text similarity calculation algorithm based on vsm[J].Advanced Materials Research，2011，1250（225）：1105-1108. [9]LI MIN，ZHAO JUN.Research and design of the crawler system in a vertical search engine[C].Guilin：In Proceedings of the 2010 International Conference on Intelligent Computing and Integrated Systems，2010：790-792. [10]EVANTHIA E TRIPOLITI，DIMITRIOS I FOTIADIS，GEORGE MANIS.Modifications of the construction and voting mechanisms of the random forests algorithm[J].Data & Knowledge Engineering，2013，87（7）：112-118. [11]柳厅文，孙永，卜东波，等.正则表达式分组的1/（1-1/k）-近似算法[J].软件学报，2012，23（9）：2261-2272. （责任编辑：孙 娟）
随便看	困境与突围：高职院校行进中的现代学徒制 特别重大公共卫生事件“危”与“机”：高职院校复学复课与应急管理 承德工业学校“一体两翼”校企 合作人才培养模式 民国学界的农业职业教育思想发展及其当代启示 广西高职院校专业结构与区域产业结构适应性分析 高职院校专任教师职业压力实证研究 中非职业教育合作的理念与路径 企业员工通用职业能力的界定与测量 什么样的知识结构和知识基础支撑了职业技术教育学的硕士培养 高职教育发展道路自信的四个源泉 多源流理论框架下《职业教育法修订草案（征求意见稿）》制定过程分析 “一带一路”倡议下中国-东盟职业教育国际合作模式与机制构建 职业教育国际化产教融合发展的探索与思考 职业教育督导评估现代化的要义 高职教育“管办评分离”质量保障体系的意蕴、问题与对策 高职教育变革型政策院校层次执行的案例研究 职业院校现代治理体系建设与治理能力提升：一个需要系统思考的问题 职教战“疫 日本高等专门学校工匠精神培育研究 新时期高等农业院校实践育人模式探析 融媒体背景下高职院校思想政治隐性教育探析 VR技术支持下高职思政课教学问题及其应对 管培评协同的中等职业学校教师专业技能分级培训体系构建 STEAM教育理念下卓越职教师资“三维”培养模式 教育生态理论视角下高职院校创新创业教育体系研究 concentration concentration camp concentration camps concentration-camps' concentrations concentrativeness concentrativenesses concentric concentrically concentricate concentricities concept concepted concepting conception conceptional conceptionist conceptions conceptious concepts concepttesting concept testing conceptual conceptualistic conceptualistically 鸡蹄子 鸡连之势 鸡酒桥玄 鸡锥儿 鸡长起牙，狗长起角 鸡雏 鸡零狗碎 鸡飞 鸡飞上天——不可能的事 鸡飞犬化 鸡飞狗叫 鸡飞狗窜 鸡飞狗走 鸡飞狗跳 鸡飞狗跳墙 鸡飞蛋打 鸡飞蛋打——一切都完 鸡飞蛋打——一场空 鸡飞蛋打——两头落空 鸡飞蛋打——双重损失 鸡飞蛋打一场空 鸡食放光虫——心知肚明 鸡食盆里鸭插嘴 鸡骨 鸡骨头熬汤——油水不大（没多大油水）

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。