Python 爬虫

1、本文没有对爬虫细枝末节进行描述 2、本文没有介绍爬虫各种前置技能的具体学习 3、本文专注于对整个爬虫流程的概括和描述，适合自学爬虫时作为辅助材料 4、本文介绍了多种爬虫方法，各有优劣，需在实操中体会 5、本文没有介绍关于增量式爬虫和异步爬虫的内容 6、本文是个人学习爬虫时的总结，因此有所不严谨和粗糙的地方请见谅

Python 爬虫

• 学习参考文献： 1、http://c.biancheng.net/python_spider/what-is-spider.html 2、https://blog.csdn.net/weixin_45658814/article/details/117293277
• 爬虫的分类
  • 1||| 通用网络爬虫
    • 通用网络爬虫需要遵守 robots 协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。
      • robots 协议：是一种“约定俗称”的协议，并不具备法律效力，它体现了互联网人的“契约精神”。行业从业者会自觉遵守该协议，因此它又被称为“君子协议”。
  • 2||| 聚焦网络爬虫
    • 爬虫是一种效率很低的程序，非常消耗计算机资源。对于聚焦爬虫程序而言，需要每天对特定的网站进行数据抓取，如果每次都去抓取之前已经抓取过的数据，就会白白消耗了时间和资源。而增量爬虫是指通过监测网站更新的情况，只抓取最新数据的一种方式，这样就大大降低了资源的消耗。
    • 是面向特定需求的一种网络爬虫程序。它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。聚焦网络爬虫极大地节省了硬件和网络资源，由于保存的页面数量少所以更新速度很快，这也很好地满足一些特定人群对特定领域信息的需求。
  • 3||| 增量式网络爬虫
    • 是指对已下载网页采取增量式更新，它是一种只爬取新产生的或者已经发生变化网页的爬虫程序，能够在一定程度上保证所爬取的页面是最新的页面。
• 前置技能点
  • 1||| 编程语言
    • 1||| Python
      • 爬虫程序的主体语言
    • 2||| HTML
      • HTML 是网页的基本结构，它相当于人体的骨骼结构。
      • 网页的骨架
    • 3||| CSS
      • CSS 表示层叠样式表，其编写方法有三种，分别是行内样式、内嵌样式和外联样式。
      • 网页的装饰
    • 4||| JavaScript
      • JavaScript 负责描述网页的行为，比如，交互的内容和各种特效都可以使用 JavaScript 来实现。
      • 网页的行为
    • 要求能基本看懂代码
  • 2||| Sql语言学习
    • 存储大量数据
  • 3||| 正则表达式
  • 4||| HTTP协议
  • 5||| 了解网页的基本组成
  • 6||| 浏览器
    • 浏览器开发者工具
      • 以谷歌浏览器为例（按 F12/右击网页选择检查）
      • 实例
      • 面板详解
• 爬虫的对象
  • 1||| 静态网页
    • 定义
      • 静态网页是标准的 HTML 文件，通过 GET 请求方法可以直接获取，文件的扩展名是.html、.htm等，网面中可以包含文本、图像、声音、FLASH 动画、客户端脚本和其他插件程序等。
    • 特性
      • 1||| 静态网页的数据全部包含在 HTML 中，因此爬虫程序可以直接在 HTML 中提取数据。
      • 2||| 通过分析静态网页的 URL，并找到 URL 查询参数的变化规律，就可以实现页面抓取。
      • 3||| 与动态网页相比，并且静态网页对搜索引擎更加友好，有利于搜索引擎收录。
  • 2||| 动态网页
    • 定义
      • 动态网页指的是采用了动态网页技术的页面
        • 动态网页技术
          • AJAX（是指一种创建交互式、快速动态网页应用的网页开发技术）
          • ASP(是一种创建动态交互式网页并建立强大的 web 应用程序)
          • JSP(是 Java 语言创建动态网页的技术标准)
    • 特性
      • 1||| 动态页面使用“动态页面技术”与服务器进行少量的数据交换，从而实现了网页的异步加载。
      • 2||| 网页会从服务器数据库自动加载数据并渲染页面，这是动态网页和静态网页最基本的区别。
      • 3||| 动态网页中除了有 HTML 标记语言外，还包含了一些特定功能的代码。
        • 这些代码使得浏览器和服务器可以交互，服务器端会根据客户端的不同请求来生成网页，其中涉及到数据库的连接、访问、查询等一系列 IO 操作，所以其响应速度略差于静态网页。
      • 4||| 抓取动态网页的过程较为复杂，需要通过动态抓包来获取客户端与服务器交互的 JSON 数据。
• 爬虫流程
  • 1||| 以html文件为对象
    • 静态或部分静态网页
    • 1||| 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象
      • 使用requests模块比较好
      • 1||| 重构User-Agent（用户代理）
        • User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。
        • 构建UA代理池
          • 在编写爬虫程序时，一般都会构建一个 User-Agent （用户代理）池，就是把多个浏览器的 UA 信息放进列表中，然后再从中随机选择。构建用户代理池，能够避免总是使用一个 UA 来访问网站，因为短时间内总使用一个 UA 高频率访问的网站，可能会引起网站的警觉，从而封杀掉 IP。
        • 随机获取UA
          • 使用专门第三方的模块来随机获取浏览器 UA 信息。 pip install fake-useragent
      • 2||| 向特定网页发送请求
        • 对需要发送请求的网页进行编码
        • 通过浏览器开发者工具获得 post 给 url 应该的数据格式
      • 3||| 获取响应（response）对象
      • 4||| 提取网站HTML信息
      • 5||| 编码解码
    • 2||| 使用浏览器打开网页源代码分析网页结构以及元素节点
      • 1||| 单级页面
        • 观察URL变化规律
      • 2||| 多级页面
        • 一级页面提供了获取二级页面的访问链接
        • 多层解析
    • 3||| 提取数据（解析html）
      • 正则表达式（re）
      • BeautifulSoup
      • lxml（Xpath表达式）
        • Xpath Helper 插件
    • 4||| 存储数据到本地磁盘或数据库
    • 适用于网站环境简单，动态模块较少的情况 性能较好，部署较为简单
  • 2||| 以浏览器为对象
    • 静态和动态网页
    • 1||| 方法一
      • 1||| 通过Selenium打开测试浏览器（可隐藏浏览器的出现）
      • 2||| 使用Selenium库模拟浏览器行为
      • 3||| 通过Selenium库内置函数定位网页元素位置
      • 4||| 通过Selenium库内置函数读取网页元素
      • 5||| 通过Selenium库内置函数进行其他网页行为，如 鼠标点击、键盘输入等
      • 6||| 保存数据
    • 2||| 方法二
      • 1||| 通过Selenium打开测试浏览器（可隐藏浏览器的出现）
      • 2||| 使用Selenium库模拟浏览器行为
      • 3||| 直接通过Selenium获取在浏览器上加载完全后的html文件
      • 4||| 通过re或lxml库分析html文件
      • 5||| 保存数据
    • 适用于网页验证困难、环境复杂的情况，但性能较差
  • 3||| 以网页提供的API为对象
    • 1||| 分析获取网页API
      • 抓包
        • 抓包是分析请求、响应数据，以及监视 HTTP(S) 通信的常用方法，它能够帮助我们明确要请求的 URL、请求参数/参数值、Cookies，以及其他响应信息，这对于构建 POST 请求方法十分重要。
        • 交互网页
        • 1||| 抓取数据包
          • 抓包流程需要一定的前端基础
          • 浏览器抓包工具
        • 2||| 分析
          • 在浏览器打开数据包的url或观察preview里的内容
    • 2||| 通过得到的API的url关键字的规律得到JSON文件
    • 3||| 通过json库解析JSON文件
    • 4||| 保存数据
    • 性能最好的办法，但前提是能抓包到API，技术含量最高
  • 4||| 以上三种方法的结合
• 面向对象构造爬虫程序
  • 1||| 请求函数
    • 请求函数最终的结果是返回一个 HTML 对象，以方便后续的函数调用它。
  • 2||| 解析函数
    • 解析函数用来解析 HTML 页面，常用的解析模块有正则解析模块、bs4 解析模块。通过分析页面，提取出所需的数据，在后续内容会做详细介绍。
  • 3||| 保存数据函数
    • 该函数负责将抓取下来的数据保至数据库中，比如 MySQL、MongoDB 等，或者将其保存为文件格式，比如 csv、txt、excel 等。
    • csv
    • Pymysql
  • 4||| 入口函数
    • 入口函数充当整个爬虫程序的桥梁，通过调用不同的功能函数，实现数据的最终抓取。入口函数的主要任务是组织数据，比如要搜索的贴吧名、编码 url 参数、拼接 url 地址、定义文件保存路径。
• 反爬
  • 1||| 反爬监测
    • 1||| 随机获取UA
    • 2||| 爬虫程序随机休眠
    • 3||| 设置代理
      • http://www.89ip.cn/ 免费代理
      • 浏览器代理插件（Proxy SwitchyOmeg）
      • python程序使用代理
  • 2||| 反爬验证
    • selenium 爬虫遇到的问题居多
    • 1||| 滑动验证
      • 固定缺块
        • 1||| 定位图片缺块，获取缺块相对位置
        • 2||| 获取滑块相对位置，求得与缺块距离
        • 3||| 利用 selenium 模拟鼠标滑动
      • 不固定缺块
        • 1||| 分析网页文件，定位验证模块
        • 2||| 分析验证模块，保存有缺块图片和无缺块图片
        • 3||| 利用 PIL 库比较两张图片得到不同色差的区块的位置
        • 4||| 获取滑块相对位置，求得与缺块距离
        • 5||| 利用 selenium 模拟鼠标滑动
    • 2||| 短信验证
      • 短信验证托管平台
    • 3||| 文本识别
    • 4||| 文字定位
    • 5||| MD5 校验
    • 6||| 其他后端加载验证模块
    • chaojiying 模块
• 非编程爬虫
  • 八爪鱼采集器
  • 后羿采集器
  • 不需要学习python很方便上手，缺点是灵活性差，性能低