Python爬虫技术

Python爬虫技术的思维导图，整理了python基础语法(22模块)和爬虫开发(14模块）的内容，喜欢的可以点个赞收藏一下哟

Python爬虫技术

• 爬虫开发(14模块
  • 网络基础
  • 网络库requests
  • xpath
  • beautifulsoup
  • 文件存储
  • selenium自动化爬虫
  • Splash
  • 抓包爬APP数据
  • Appium自动爬APP数据
  • 多线程爬虫
  • 爬虫框架Scrapy
  • JS逆向
  • APP逆向
  • 验证码识别
• python基础语法(22模块)
  • 数值类型-字符串
    • 数值类型
      • 整数
        • 存的所有整数，都是此类型
        • int(整形)integer
        • type(存放数据类型的变量或常量) 方法来查看数据类型 图例：
      • 浮点
        • float(浮点型)
        • 即小数 图例：
    • 字符串
      • str 图例：
      • 在Python中加了引号的字符都被认为是字符串
      • 字符串拼接 数字可进行加减乘除运算，字符串也可以，但只能相加 和相乘。 字符串只能与字符串运算，不能和数字或者其他类型拼接。
      • 数据类型—又见str
        • 字符串定义
          • 字符串是一个有序的字符的集合，用于在计算机里存储和表示文本信息。
          • 创建 S=“Hello, my name is nong”
        • 下标( 字符串特性)
          • 图例：
          • 按照从左到右的顺序定义字符串集合，下标从零开始顺序访问，有序。 下标又叫做索引。就是编号。作用是按照编号快速找到对应的位置。下标作用，通过下标快速找到对应的数据。
          • 可进行切片操作。
          • 字符串是不可变的。不能像列表一样修改其中某个元素。所有对字符串的修改操作其实都是相当于生成了一份新数据。
        • 字符串输出
        • 字符串输入
        • 字符串的常用操作
          • 图例
          • 三类操作
            • 子主题
            • 子主题
            • 子主题
  • 基本数据类型(列表、元组、字典集合)
  • 运算符、条件控制、循环
  • 生成器、 迭代器
  • 函数、模块
  • IO编程
  • lambda
  • 异常处理
  • 面向对象编程
  • 函数推导式
  • 多线程
  • 深浅拷贝
  • 递归函数
  • 网络编程
  • 正则表达式
  • json
  • 时间相关模块
  • random、 hashlib
  • 反射、内置方法
  • 闭包、装饰器
  • 设计模式