urllib学习

urllib学习，openurl、request、error的学习总结，希望这份脑图会对你有所帮助。

urllib学习

• request
  • openurl 打开一个url
    • 参数分析
      • url
        • 需要访问的url
      • data
        • 可选参数，有传值时
          • 1. 需要使用bytes方式将参数转化为字节流的形式
            • 处理方法为： data = bytes(urllib.Parse.urlencode({"name": "xiaoming"}, encode('utf-8')))
          • 2. 有传参时，请求的方式必须为post方式
      • timeout,默认超时时间
        • 如果不传值，使用默认参数，测试全局默认变量的值
        • 如果传值 为S ， 则在请求S秒后，得不到响应，自动退出
      • CAfile、capath、cadefault已经废弃
        • cafile:指的是证书的名称
        • capath：指的是证书的路径
        • cadefault已经废弃,默认为false
      • context
        • 为ssl.sslcontext类型， 用来设置ssl
    • 举例：
  • Request： 构造一个Request对象
    • 参数分析
      • url
        • 要请求的地址
      • data
        • 请求体，同上
      • headers
        • 两种添加方式
          • 1.直接赋值，如： headers={ "user-agent:":"Chrome/113.0.0.0 Safari/537.36", "accept-language":"zh-CN", "accept":"image/avif", }
          • 可以在初始化之后添加，如 使用add_headers()函数
      • origin_req_host 表示请求方的hostname或者IP地址，默认值为None
        • origin_req_host=None
      • unverifiable: 表示请求是否是无法验证的， 默认值为False. 意思是用户没有足够的请求权限来请求某资源
        • 例如：当爬取一个HTML页面时，某个资源下载不下来，这时 unverifiable就是True
      • method 请求方式
        • get
        • post
        • put
      • 举例：
  • 高级用法 操作cookie和代理
    • 设置代理服务器
    • 两种方式保存cookie
    • 实现需要用户认证的网页登录
      • 子主题
• error
  • parse
• response
  • 状态码
  • 响应体
  • 获取响应体的内容