爬虫之——了解HTTP基本原理基础

爬虫之——了解HTTP基本原理基础，如GET 请求中的参数包含在 URL 里面，数据可以在 URL 中看到，而 POST 请求的 URL 不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中。

HTTP基本原理

• URI和URL
  • URL
    • Universal Resource Locator，即统一资源定位符
  • URI
    • Uniform Resource Identifier，即统一资源标志符
  • URL 是 URI 的子集，也就是说每个 URL 都是 URI，但不是每个 URI 都是 URL。
  • URI还包括一个子类叫作URN，它的全称为UniversalResourceName，即统一资源名称。URN只命名资源而不指定如何定位资源，比如urn:isbn:04514505 指定了一本书的 ISBN，可以唯一标识这本书，但是没有指定到哪里定位这本书
• 超文本
  • 如html源代码等
• GET和POST区别
  • GET 请求中的参数包含在 URL 里面，数据可以在 URL 中看到，而 POST 请求的 URL 不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中。
  • GET 请求提交的数据最多只有 1024 字节，而 POST 请求没有限制。
• 请求头
  • Accept
    • 请求报头域，用于指定客户端可接受哪些类型的信息。
  • Accept-Language：指定客户端可接受的语言类型。
  • Accept-Encoding：指定客户端可接受的内容编码。
  • Host：用于指定请求资源的主机 IP 和端口号，其内容为请求 URL 的原始服务器或网关的位置。从 HTTP 1.1 版本开始，请求必须包含此内容。
  • Cookie：也常用复数形式Cookies，这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据。它的主要功能是维持当前访问会话。
  • Referer：此内容用来标识这个请求是从哪个页面发过来的，服务器可以拿到这一信息并做相应的处理，如做来源统计、防盗链处理等。
  • User-Agent：简称 UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别出为爬虫。
  • Content-Type：也叫互联网媒体类型（InternetMediaType）或者MIME类型，在HTTP协议消息头中，它用来表示具体请求中的媒体类型信息。例如，text/html代表HTML格式，image/gif代表GIF图片，application/json代表JSON类型
• 请求体
  • 请求体一般承载的内容是 POST 请求中的表单数据，而对于 GET 请求，请求体则为空。
• 响应
  • 响应，由服务端返回给客户端，可以分为三部分：响应状态码（Response Status Code）、响应头（Response Headers）和响应体（Response Body）。
    • 响应状态码表示服务器的响应状态，如 200 代表服务器正常响应，404 代表页面未找到，500 代表服务器内部发生错误。
    • 响应头包含了服务器对请求的应答信息，如 Content-Type、Server、Set-Cookie 等。
      • Date：标识响应产生的时间。 Last-Modified：指定资源的最后修改时间。 Content-Encoding：指定响应内容的编码。 Server：包含服务器的信息，比如名称、版本号等。 Content-Type：文档类型，指定返回的数据类型是什么，如text/html代表返回HTML文档，application/x-javascript则代表返回JavaScript文件，image/jpeg 则代表返回图片。 Set-Cookie：设置 Cookies。响应头中的 Set-Cookie 告诉浏览器需要将此内容放在 Cookies 中，下次请求携带 Cookies 请求。 Expires：指定响应的过期时间，可以使代理服务器或浏览器将加载的内容更新到缓存中。如果再次访问时，就可以直接从缓存中加载，降低服务器负载，缩短加载时间。
    • 最重要的当属响应体的内容了。响应的正文数据都在响应体中，比如请求网页时，它的响应体就是网页的HTML代码；请求一张图片时，它的响应体就是图片的二进制数据。我们做爬虫请求网页后，要解析的内容就是响应体。