网站首页  词典首页

请输入您要查询的论文:

 

标题 正则表达式在python爬虫中的应用
范文

    苻玲美

    

    摘要:数据是新一轮技术革命最重要的生产资料,爬虫是获取数据最直接的方式,但爬出来的数据代码夹杂文字,面对大量杂乱的代码夹杂信息,通过正则表达式检索匹配出有用的信息,过滤无用的数据。本文介绍正则表达式在python爬虫中的应用,总结python爬虫中正则表达式的应用技巧。

    关键词:爬虫;python;正则表达式;数据

    中图分类号:TP311? ? 文献标识码:A

    文章编号:1009-3044(2019)25-0253-02

    网络爬虫是一个非常注重实践性而且实用性很强的编程技能,写爬虫分析股票走势,上链家爬房源分析房价趋势,爬知乎、爬豆瓣、爬新浪微博、爬影评,等等。人工智能时代,对数据的依赖越来越重要,数据主要的来源就是通过爬虫获取,通过爬取获取数据可以进行市场调研和数据分析。但爬虫时收集回来的一般是字符流,我们需要从中筛选有用的信息,而用正则表达式可以轻松地完成这一任务。

    1正则表达式与爬虫

    爬虫四个主要步骤:

    · 明确目标 (要知道你准备在哪个范围或者网站去搜索)

    · 爬 (将所有的网站的内容全部爬下来)

    · 取 (获取有用信息、去掉没用的数据)

    · 处理数据(按照我们想要的方式存储和使用)

    那么在取(文本过滤这块)最强大的就是正则表达式,更是python爬虫世界必不可少利器。

    什么是正则表达式,python爬虫使用正则表达式的方法。

    正则表达式(Regular Expression,简称Regex或RE)又称为正规表示法或常规表示法,常常用来检索、替换那些符合某个模式的文本,它首先设定好了一些特殊的字及字符组合,通过组合的“规则字符串”来对表达式进行过滤,从而获取或匹配我们想要的特定内容。它具有灵活、逻辑性和功能性非常的强,能迅速地通过表达式从字符串中找到所需信息的优点。

    正则表达式的常见语法格式:

    在 Python 中,我们可以使用内置的 re 模块来使用正则表达式。re模块提供了3个方法对输入的字符串进行确切的不同要求查询。每一个方法都接收一个正则表达式和一个待查找匹配的字符串。

    (1)match()方法- 从头匹配:

    match()方法的工作方式是只有当被搜索字符串的开头匹配模式的时候它才能查找到匹配对象。

    (2)使用re.search查找 – 匹配任意位置:

    search()方法和match()类似,不过search()方法不会限制我们只从字符串的开头查找匹配。search()方法会在它查找到一个匹配项之后停止继续查找。

    (3)使用 re.findall – 所有匹配对象:

    在Python中我使用的最多的查找方法是findall()方法。当我们调用findall()方法,我们可以非常简单地得到一个所有匹配模式的列表,

    2 正则表达式抓取网络数据常见方法

    在 HTML 中, 基本上所有的实体内容, 都会有个成对的 tag 来框住它。 而这个被 tag 住的内容, 就可以被展示成不同的形式。header 和 body。 在 header 中, 存放这一些网页的网页的元信息, 比如说 title, 这些信息是不会被显示到你看到的网页中的. 这些信息大多数时候是给浏览器看, 或者是给搜索引擎的爬虫看。HTML 的第二大块是 body, 这个部分才是你看到的网页信息。网页中的视频, 图片和文字等都存放在这里。 tag 就是主标题, 我们看到呈现出来的效果就是大一号的字。 里面的文字就是一个段落。 里面都是一些链接。是层用来存放一块信息。在html还有很多这样的tag,信息都是放在这些 tag 中的。爬虫想要做的就是根据这些 tag 来找到合适的信息。

    1)爬取网页

    通过下列操作成功爬取了百度的首页。

    2) 抓取title标签间的内容

    Print data打印出来抓取的网页,这就证明了我们能够成功读取这个网页的所有信息了。但我们还没有对网页的信息进行汇总和利用。我们发现想要提取一些形式的信息,合理的利用 tag 的名字十分重要。我们想用代码找到这个网页的 title,选好要使用的 tag 名称 。 使用正则匹配。</p><p>    title=re.findall(r"<title>(.+?)", data)

    print(title[0])

    3)抓取

    标签间的内容

    想要找到中间的那个段落

    的内容跟一样,但因为这个段落在 HTML 中还夹杂着 tab, new line, 所以我们给一个flags=re.DOTALL 来对这些 tab, new line 不敏感。</p><p>    4)爬取所有的连接的网址。</p><p>    有些时候,我们需要获取网站中所有的超链接并保存在文档里进行应用。一个一个获取是不现实的,我们把网页爬取出来后,用正则表达式去在索出来。超链接在网页中的格式是:你好,请登录。网址以href=“开头,以”结束。因此正则表达p=re.findall(rhref=”(.*?)”),data),其中data存放抓取的网页信息,r进行转义。</p><p>    3 总结</p><p>    大数据时代,我们需要海量的信息去分析市场、分析客户。而爬虫获取的数据掺杂着大量的代码和没用的数据。通过 正则表达式筛选有用的信息,过滤无用的数据。本文介绍爬虫与正则表达式的关系,正则表达式的语法,re模块的几种应用正则表达式方法的区别。最后通过案例总结了python爬虫中正则表达式的使用技巧。</p><p>    参考文献:</p><p>    [1]熊畅.基于Python爬虫技术的网页数据抓取与分析研究[J]. 数字技术与应用,2017(9):45-46.</p><p>    [2]魏冬梅,何忠秀,唐建梅.基于Python的Web信息获取方法研究[J].软件导刊,2018, 17(1):41-43.</p><p>    [3]万磊,严道波,杨勇,等.基于文本挖掘的95598投訴工单关键信息提取分析[J].电力与能源,2019,40(01):76-78.</p><p>    [4]Jeffrey E.F.Friedl(著).精通正则表达式[M].余晟,译.北京:电子工业出版社,2008.</p><p>    【通联编辑:闻翔军】</p> </td> </tr> <tr> <td width="61" align="center">随便看</td> <td> <ul class="random"> <li><a target="_blank" href="d675829.html">初中语文课堂教学中的情感教育探讨</a></li> <li><a target="_blank" href="d675830.html">谈如何在初中语文教学中落实情感教育</a></li> <li><a target="_blank" href="d675831.html">基于新课改下初中语文教学的情感教育探究</a></li> <li><a target="_blank" href="d675832.html">传统文化在初中语文教学中的渗透</a></li> <li><a target="_blank" href="d675833.html">初中班主任基于微信开展互动德育探索</a></li> <li><a target="_blank" href="d675834.html">提升初中班主任德育能力的实践研究</a></li> <li><a target="_blank" href="d675835.html">浅析班主任工作的“三坚持”</a></li> <li><a target="_blank" href="d675836.html">论如何提升初中班主任管理工作效率</a></li> <li><a target="_blank" href="d675837.html">初中班主任班级管理策略探究</a></li> <li><a target="_blank" href="d675838.html">如何有效与学生沟通交流,提高班级管理效率</a></li> <li><a target="_blank" href="d675839.html">班级微信群在中学班级管理中的有效应用</a></li> <li><a target="_blank" href="d675840.html">浅谈农村中学班主任对“留守学生”的教育策略</a></li> <li><a target="_blank" href="d675841.html">简析初中教育中后进生转化技巧</a></li> <li><a target="_blank" href="d675842.html">初中数学“学困生”学习障碍及教学策略探讨</a></li> <li><a target="_blank" href="d675843.html">初中教学管理有效性初探</a></li> <li><a target="_blank" href="d675844.html">浅谈初中语文教学中中华优秀传统文化的渗透</a></li> <li><a target="_blank" href="d675845.html">初中数学教学中学生数学思维能力培养策略</a></li> <li><a target="_blank" href="d675846.html">初中数学教学中学生运算能力的培养研究</a></li> <li><a target="_blank" href="d675847.html">初中数学优化考试评价激励效果的有效方法</a></li> <li><a target="_blank" href="d675848.html">初中生英语口语与听力作业设计初探</a></li> <li><a target="_blank" href="d675849.html">浅谈初中音乐教学如何激发学生学习兴趣</a></li> <li><a target="_blank" href="d675850.html">初中体育教学提升学生主动参与策略</a></li> <li><a target="_blank" href="d675851.html">初中物理计算题解题能力的培养</a></li> <li><a target="_blank" href="d675852.html">关于初中物理教学如何激发学生兴趣的研究</a></li> <li><a target="_blank" href="d675853.html">初中物理教学中如何培养学生的观察能力</a></li> <li><a target="_blank" href="78809.html">spinelessness</a></li> <li><a target="_blank" href="78810.html">spinelessnesses</a></li> <li><a target="_blank" href="78811.html">spinelike</a></li> <li><a target="_blank" href="78812.html">spines</a></li> <li><a target="_blank" href="78813.html">spinlabelled</a></li> <li><a target="_blank" href="78814.html">spinless</a></li> <li><a target="_blank" href="78815.html">spinnabilities</a></li> <li><a target="_blank" href="78816.html">spinnability</a></li> <li><a target="_blank" href="78817.html">spinnaker</a></li> <li><a target="_blank" href="78818.html">spinnakers</a></li> <li><a target="_blank" href="78819.html">spinner</a></li> <li><a target="_blank" href="78820.html">spinning</a></li> <li><a target="_blank" href="78821.html">spinningly</a></li> <li><a target="_blank" href="78822.html">spinnings</a></li> <li><a target="_blank" href="78823.html">spinning-wheel</a></li> <li><a target="_blank" href="78824.html">spinning wheel</a></li> <li><a target="_blank" href="78825.html">spinning wheels</a></li> <li><a target="_blank" href="78826.html">spin-off</a></li> <li><a target="_blank" href="78827.html">spin off</a></li> <li><a target="_blank" href="78828.html">spinoff</a></li> <li><a target="_blank" href="78829.html">spin off (from sth)</a></li> <li><a target="_blank" href="78830.html">spin out</a></li> <li><a target="_blank" href="78831.html">spin-out</a></li> <li><a target="_blank" href="78832.html">spinout</a></li> <li><a target="_blank" href="78833.html">spin out (of/from sth)</a></li> <li><a target="_blank" href="b512524.html">赢奸卖俏</a></li> <li><a target="_blank" href="b512525.html">赢官人</a></li> <li><a target="_blank" href="b512526.html">赢家</a></li> <li><a target="_blank" href="b512527.html">赢得</a></li> <li><a target="_blank" href="b512528.html">赢得时间,赢得生命</a></li> <li><a target="_blank" href="b512529.html">赢得猫儿卖了牛</a></li> <li><a target="_blank" href="b512530.html">赢得猫儿卖了牛。</a></li> <li><a target="_blank" href="b512531.html">赢得猫儿输了牛——因小失大</a></li> <li><a target="_blank" href="b512532.html">赢手批子</a></li> <li><a target="_blank" href="b512533.html">赢来三只眼,输去一团糟</a></li> <li><a target="_blank" href="b512534.html">赢牛劣马寒食下。</a></li> <li><a target="_blank" href="b512535.html">赢球</a></li> <li><a target="_blank" href="b512536.html">赢瓜子</a></li> <li><a target="_blank" href="b512537.html">赢的钱报不了喜</a></li> <li><a target="_blank" href="b512538.html">赢粮</a></li> <li><a target="_blank" href="b512539.html">赢绌</a></li> <li><a target="_blank" href="b512540.html">赢缩</a></li> <li><a target="_blank" href="b512541.html">赢获</a></li> <li><a target="_blank" href="b512542.html">赢要赢得英雄,输要输得光棍</a></li> <li><a target="_blank" href="b512543.html">赢越</a></li> <li><a target="_blank" href="b512544.html">赢输</a></li> <li><a target="_blank" href="b512545.html">赢金</a></li> <li><a target="_blank" href="b512546.html">赢钱</a></li> <li><a target="_blank" href="b512547.html">赢面</a></li> <li><a target="_blank" href="b512548.html">赣</a></li> </ul> </td> </tr> </table> <p> </p> <p>科学优质学术资源、百科知识分享平台,免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。<p> </p> <div class="foot">Copyright © 2004-2023 puapp.net All Rights Reserved<BR> <span class="updatetime"> 更新时间:2025/3/14 11:20:40</span><script src="/js/count.js" type="text/javascript"></script></div> </body> </html>