爬虫python能做什么(python opencv)
在上一部分中,我们完成了一个简单的python爬虫画笔博客流量。 在这一部分,让我们更进一步。
1、代码模块化,便于复用
2、刷大量流量,一次可以点击多篇文章。
功能分为页面内容获取、文章访问量分析、URL循环调用、中间停顿控制、主函数、程序门户五部分。
importreimportrequestsfromrequestsimportrequestexceptionimportrandomimporttimeimportproxy # 获取页面内容defgetpage(URL )的3360 try : headers={ ' referer ' : ' https://blog.csdn.net ',' user-agent ' : ' 双赢64; x64 ) appleWebKit/537.36(khtml,like Gecko ) chrome/68.0.3440.75 safari/537.36 ' #伪装成浏览器(response=请求return response.textreturnnoneexceptrequestexception : print ('请求错误')访问return None#文章的次数def parse _ page _ read _ read #