首页天道酬勤Python爬虫从入门到精通——请求库Urllib的使用(三):解析链接

Python爬虫从入门到精通——请求库Urllib的使用(三):解析链接

admin 09-27 17:13 102次浏览

分类目录:《Python爬虫从入门到精通》总目录

请求库Urllib的使用(一):发送请求
请求库Urllib的使用(二):处理异常
请求库Urllib的使用(三):解析链接
请求库Urllib的使用(四):Robots协议

在《请求库Urllib的使用(一):发送请求》文章中提到,urllib库里还提供了parse模块,它定义了处理URL的标准接口,例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理:file、ftp、gopher、hd、http、https、imap、mailto、mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、sip、sips、snews、svn、svn+ssh、telnet和wais。本文中,我们介绍一下该模块中常用的方法来看一下它的便捷之处。

urlparse()

该方法可以实现URL的识别和分段,这里先用一个实例来看一下:

from urllib.parse import urlparseresult = urlparse('www.baidu.com')print(type(result))print(result)

这里我们利用urlparse()方法进行了一个URL的解析。首先,输出了解析结果的类型,然后将结果也输出出来。

<class 'urllib.parse.ParseResult'>ParseResult(scheme='', netloc='', path='www.baidu.com', params='', query='', fragment='')

可以看到,返回结果是一个ParseResult类型的对象,它包含6个部分,分别是scheme、netloc、path、params、query和fragment。可以发现,urlparse()方法将其拆分成了6个部分。大体观察可以发现,解析时有特定的分隔符。比如,://前面的就是scheme,代表协议;第一个/符号前面便是netloc,即域名,后面是path,即访问路径。分号;前面是params,代表参数。问号?后面是查询条件query,一般用作GET类型的URL。井号#后面是锚点,用于直接定位页面内部的下拉位置。所以,可以得出一个标准的链接格式,具体如下:

scheme://netloc/path;parans?query#fragment

一个标准的URL都会符合这个规则,利用urlparse()方法方法可以将它拆分开来。除了这种最基本的解析方式外,urlparse()方法还有一些其他的配置吗

urllib.parse.urlparse(urlstring,scheme=",allow_fragments=True)

可以看到,它有3个参数。

urlstring:这是必填项,即待解析的URL。scheme:它是默认的协议(比如http或https等)。假如这个链接没有带协议信息,会将这个作为默认的协议。我们用实例来看一下:allow_fragments:即是否忽略fragment。如果它被设置为False,fragment部分就会被忽略,它会被解析为path、parameters或者query的一部分,而fragment部分为空。 urlunparse()

有了urlparse(),相应地就有了它的对立方法urlunparse()。它接受的参数是一个可迭代对象,但是它的长度必须是6,否则会抛出参数数量不足或者过多的问题。

from urllib.parse import urlunparsedata = ['http', 'www.baidu.com', 'index.html', '', '', '']print(urlunparse(data))

这里参数data用了列表类型。当然,你也可以用其他类型,比如元组或者特定的数据结构。运行结果如下:

http://www.baidu.com/index.html

这样我们就成功实现了URL的构造。

urlsplit()

urlsplit()方法和urlparse()方法非常相似,只不过它不再单独解析params这一部分,而将params会合并到path中,只返回5个结果。

urlunsplit()

urlunsplit()与urlunparse()类似,它也是将链接各个部分组合成完整链接的方法,传人的参数也是一个可迭代对象,例如列表、元组等,唯一的区别是长度必须为5。

urljoin()

有了urlunsplit()和urlunparse()方法,我们可以完成链接的合并,不过前提必须要有特定长度的对象,链接的每一部分都要清晰分开。此外,生成链接还有另一个方法,那就是urljoin()方法。我们可以提供一个base_url(基础链接)作为第一个参数,将新的链接作为第二个参数,该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充,最后返回结果。可以发现,base_url(提供了三项内容scheme、netloc和path。如果这3项在新的链接里不存在,就予以补充。如果新的链接存在,就使用新的链接的部分。而base_url(中的params、query和fragment是不起作用的。通过urljoin()方法,我们可以轻松实现链接的解析、拼合与生成。

urlencode()

这里我们再介绍一个常用的方法urlencode(),它在构造GET请求参数的时候非常有用.

from urllib.parse import urlencodeparams = { 'blog': 'hy592070616', 'corporation': 'HUAWEI'}base_url = 'www.baidu.com?'url = base_url + urlencode(params)print(url)

这里首先声明了一个字典来将参数表示出来,然后调用urlencode()方法将其序列化为GET请求参数。运行结果如下:

www.baidu.com?blog=hy592070616&corporation=HUAWEI

可以看到,参数就成功地由字典类型转化为GET请求参数了。这个方法非常常用。有时为了更加方便地构造参数,我们会事先用字典来表示。要转化为URL的参数时,只需要调用该方法即可。

parse_qs()

有了序列化,必然就有反序列化。如果我们有一串GET请求参数,利用parse_qs()方法,就可以将它转回字典。

from urllib.parse import parse_qsquery = 'blog=hy592070616&corporation=HUAWEI'print(parse_qs(query))

运行结果:

{'blog': ['hy592070616'], 'corporation': ['HUAWEI']} parse_qsl()

另外,还有一个parse_qsl()方法,它用于将参数转化为元组组成的列表.

from urllib.parse import parse_qslquery = 'blog=hy592070616&corporation=HUAWEI'print(parse_qsl(query))

运行结果:

[('blog', 'hy592070616'), ('corporation', 'HUAWEI')]

可以看到,运行结果是一个列表,而列表中的每一个元素都是一个元组,元组的第一个内容是参数名,第二个内容是参数值。

quote()

该方法可以将内容转化为URL编码的格式。URL中带有中文参数时,有时可能会导致乱码的问题,此时用这个方法可以将中文字符转化为URL编码。

from urllib.parse import quotekeyword = '洪远的博客'url = 'www.baidu.com/s?wd=' + quote(keyword)print(url)

这里我们声明了一个中文的搜索文字,然后用quote()方法对其进行URL编码,最后得到的结果如下:

www.baidu.com/s?wd=%E6%B4%AA%E8%BF%9C%E7%9A%84%E5%8D%9A%E5%AE%A2 unquote()

有了quote()方法,当然还有unquote()方法,它可以进行URL解码。

from urllib.parse import unquoteurl = 'www.baidu.com/s?wd=%E6%B4%AA%E8%BF%9C%E7%9A%84%E5%8D%9A%E5%AE%A2'print(unquote(url))

这是上面得到的URL编码后的结果,这里利用unquote()方法还原。

www.baidu.com/s?wd=洪远的博客

可以看到,利用unquote()方法可以方便地实现解码。

网络爬虫——Urllib模块实战项目(含代码)爬取你的第一个网站 〖重大爆料〗168飞艇计划5码分享《新闻晨报》