Python 爬虫 Requests库

Python的Requests库主要用来爬取网页的源码，本导图对该库的主要内容进行了总结，并举例说明其用法。

Python爬虫 Requests库

Requests库

爬取网页的源码

Response对象

调用requests方法返回的对象，包含服务器返回的所有信息

例：r = requests.get("http://www.baidu.com")

r即为Response对象

常用属性

r.status_code

HTTP请求的返回状态

200表示连接成功

404表示失败

r.text

HTTP响应内容的字符串形式，即url对应的页面内容

r.encoding

从HTTP header中猜测的响应内容编码方式

r.apparent_encoding

从内容中分析出的响应内容编码方式，更加准确

r.content

HTTP响应内容的二进制形式

常用方法

r.raise_for_status()

如果状态码(status_code)不是200，引发HTTPError异常

Requests库的异常

requests.ConnectionError

网络连接错误异常，如DNS查询失败、拒绝连接等

requests.HTTPError

HTTP错误异常

requests.URLREquired

URL缺失异常

requests.TooManyRedirects

超过最大重定向次数，产生重定向异常

requests.ConnectTimeout

连接远程服务器超时异常

requests.Timeout

请求URL超时，产生超时异常

常用方法

requests.get()

获取HTML网页的方法，对应于HTTP的GET

requests.get(url,params=None,**kwargs)

参数说明

url

拟获取页面的url链接

params

（可选）url中的额外参数，字典或字节流格式

**kwargs

12个控制访问的参数

例：r = requests.get(url)

requests.head()

获取HTML网页头信息的方法，对应于HTTP的HEAD

requests.head(url,**kwargs)

参数说明

url

拟获取页面的url链接

**kwargs

13个控制访问的参数

例：r = request.head('http://httpbin.org/get')

requests.post()

向HTML网页提交POST请求的方法，对应于HTTP的POST

requests.post(url,data=None,json=None,**kwargs)

参数说明

url

拟获取页面的url链接

data

字典、字节序列或文件，Request的内容

json

JSON格式的数据，Request的内容

**kwargs

11个控制访问的参数

例：payload = {'key1': 'value1', 'key2': 'value2'} r = requests.post('http://httpbin.org/post', data = payload)

requests.put()

向HTML网页提交PUT请求的方法，对应于HTTP的PUT

requests.put(url,data=None,**kwargs)

参数说明

url

拟获取页面的url链接

data

字典、字节序列或文件，Request的内容

**kwargs

12个控制访问的参数

例：payload = {'key1': 'value1', 'key2': 'value2'} r = requests.put('http://httpbin.org/post', data = payload)

requests.patch()

向HTML网页提交局部修改请求，对应于HTTP的PATCH

requests.patch(url,data=None,**kwargs)

参数说明

url

拟获取页面的url链接

data

字典、字节序列或文件，Request的内容

**kwargs

12个控制访问的参数

requests.delete()

向HTML网页提交删除请求，对应于HTTP的DELETE

requests.delete(url,**kwargs)

参数说明

url

拟获取页面的url链接

**kwargs

13个控制访问的参数