python 爬虫入门知识框架学习实操笔记

python 爬虫入门知识框架学习实操笔记，包括函数、类、高阶深入、线程队列、实用模块、django项目实战、docker入门和提高、tornado项目实战等内容。

python 爬虫入门知识框架学习实操笔记

• 1、python基础入门（上）
  • 1、认识python
    • 1、python的历史简介
    • 2、python的前景
    • 3、剖析一个开源第三方库角度看python
    • 4、python的组成
  • 2、python编程规范
    • 1、基础规范
      • 1、注释
      • 2、 缩进
      • 3、 空行
      • 4、命名
      • 5、 引用
    • 2、参考资料提供介绍
    • 3、《如何编写优雅python代码公开课》
  • 3、基础知识（上）
    • 1、包、库、模块
    • 2、 变量
    • 3、内建函数
      • 1、定义
      • 2、学习最常用的几个
    • 4、 运算符
    • 5、数据结构之列表（上）
      • 1、定义
      • 2、切片
      • 3、方法
      • 4、循环遍历
      • 5、 高阶：列表推导式
  • 4、实战案例
    • 1、学员信息表
    • 2、成绩评定
• 2、python基础入门（下）
  • 1、 课前小知识
    • 1、 try: except
    • 2、 split
    • 3、 打印时的注释部分
  • 2、数据结构 -- 列表（下）
    • 深入研究深拷贝 && 浅拷贝
  • 3、 数据结构 -- 字典
    • 1、 定义
    • 2、 所有方法讲解
    • 3、 字典两种遍历方式
    • 4、 字典深入
    • 5、 工作使用场景
  • 4、 数据结构 -- 元祖
    • 1、 定义
    • 2、 元祖API讲解
    • 3、 元祖遍历
    • 4、 元祖和列表对比
  • 5、 数据结构 -- 集合
    • 1、 概述
    • 2、 操作
    • 3、 集合api
    • 4、 工作场景：集合列表转换
  • 6、 实战案例
    • 1、 购买股票案例
• 3、函数
  • 1、 课前小知识
    • 工作场景： 排名问题
  • 2、 函数定义
  • 3、函数命名规范
  • 4、参数
    • 1、 普通参数
    • 2、 默认参数
    • 3、 可变长参数
  • 5、返回值
  • 6、全局变量 && 局部变量
  • 7、高阶 -- 嵌套函数
  • 8、高阶 -- 匿名函数
  • 9、高阶 -- 函数式编程
  • 10、 高阶 -- filter、 map、 reduce用法
  • 11、 微软面试题剖析： 求一个列表子列表之和的最大值
  • 12、 项目实战
    • 1、 手机通讯录编写
    • 2、 2048游戏编写
• 4、类
  • 目标：函数巩固 + 类学习
  • 1、类和对象
  • 2、经典类 && 新式类
  • 3、self
  • 4、类初始化
  • 5、类属性 && 类实例属性
  • 6、类实例方法 && 类方法
  • 7、工作中一类自动化场景
    • 1、 实用自动化函数讲解： handle_timeout
    • 2、 举例： 自动化备份数据
  • 8、两道类面试题讲解
  • 9、 项目实战
    • 1、狮子王案例讲解
• 5、高阶深入
  • 目标：python语言中的难点突破，对于面试python开发有极大帮助
  • 1、课前小知识
    • 1、 python 调用脚本或者shell指令
      • 1、 os.system()
      • 2、 commands.getoutput()
      • 3、 subprocess方式
  • 2、闭包
    • 1、 定义
    • 2、 工作使用场景
  • 3、装饰器
    • 1、 屌丝逆袭故事
    • 2、 装饰器作用
    • 3、 一步一步编写装饰器
    • 4、 工作使用场景
  • 4、单例
    • 1、 工作中碰到的问题
    • 2、 解决方式
    • 3、 单例模式实现
    • 4、 工作使用场景
  • 5、项目实战
    • 抓包： 抓美女图片
• 6、线程 && 队列
  • 目标：掌握线程、学习python中线程作用、掌握多线程、线程安全、掌握线程池、 掌握队列
  • 1、课前小知识
    • 1、 python脚本传参数
    • 2、 python程序计算做一件事情时间
  • 2、线程
    • 1、 线程入门
    • 2、 python中线程的使用
    • 3、 精华： 编写我们自己的线程类
    • 4、 线程使用场景举例
  • 3、 多线程
    • 1、 两种实现方式
    • 2、 使用场景
    • 3、 多线程案例练习
  • 4、线程安全
    • 1、 锁
    • 2、 事件
    • 3、 **信号
  • 5、线程池
    • 1、 线程池原理
    • 2、 线程池实现（futures）
    • 3、 精华： 沉淀出我们自己的万能脚本
    • 4、 线程池实践
  • 6、 队列
    • 1、 队列分类
    • 2、 队列实现
  • 7、 生产者消费者模式
  • 8、 项目实战
    • 1、 小米公司手机销售供应链
• 7、实用模块
  • 目标：学习python中实用的模块的讲解、并广泛使用到工作中去
  • 1、异常处理
    • 1、 异常处理原理
    • 2、 异常捕获种方式
    • 3、 异常类型详解
    • 4、 自己定义异常类
  • 2、正则表达式
    • 1、 应用场景
    • 2、 常用方法
    • 3、 举例练习
  • 3、os模块
    • 1、 用途
    • 2、 常用api讲解
    • 3、 实践： 获取目录下所有python文件
  • 4、期中考试： 基础测试
• 11、django 项目实战（三周）
  • 目标：掌握MySQL容量规划要点，掌握MySQL关键监控要素、指标
  • 1、 django安装入门
  • 2、视图
  • 3、模板与模型
  • 4、创建app
  • 5、数据库部分
  • 6、表单
  • 7、 静态文件
  • 8、用户登录注册
  • 9、 日志系统
  • 10、 项目实战： 知数堂平台编写
• 10、docker入门和提高（两周）
  • 目标： 1、求职增加筹码 2、掌握未来的趋势技术 3、能够看懂技术分享
  • 1、概念扫盲
    • 1、 openstack && docker
    • 2、 容器调度系统： k8s && mesos && swarm
    • 3、 云计算三层介绍
  • 2、容器介绍
    • 1、 docker 是什么
    • 2、、 docker && KVM
    • 3、 docker优点
    • 4、 选型
  • 3、容器基础指令讲解
  • 4、镜像 && 镜像仓库
    • 1、 镜像原理
    • 2、 docker commit制作镜像 及场景
    • 3、 Dockerfile制作镜像及场景
    • 4、 公司镜像 （三层镜像结构）
  • 5、容器网络
    • 1、 docker原生网络缺陷
    • 2、 默认支持的4种网络方式
    • 3、 网络拓扑解析
    • 4、 flannel、 macVlan等overlay网络简介
  • 6、docker run指令详解
    • 简单的docker run， 复杂的逻辑
  • 7、容器存储
    • 1、 volumn方式
    • 2、 存储方式介绍
  • 8、docker实战：应用部署
• 9、 tornado项目实战（两周）
  • 1、 tornado初识
    • 1、 web应用服务组成
    • 2、 web服务框架
    • 3、 tornado、django、web.py、 flask比较
  • 2、tornado万金油框架编写
    • 1、 tornado入门
    • 2、 剖析最简单的tornado demo
    • 3、 html展示于浏览器
    • 4、 post && get
      • 1、 http请求入门
      • 2、 curl讲解
      • 3、 post/get特点
      • 4、 post/get请求实现
      • 5、 post/get 使用规范
    • 5、 异步 &&同步
      • 1、 同步/异步比较
      • 2、 异步实现原理
    • 6、 协程原理
      • 1、 编写高性能异步接口
    • 7 、tornado配置模块
    • 8、 tornado命令行解析
    • 9、 tornado 同 mysql交互
      • 1、MySQLdb讲解
    • 10、 service方式启动tornado服务
    • 11、 torando项目日志配置
    • 12、 邮件通知模块
    • 13、 定时任务模块
  • 3、 tornado实战：运维平台编写
    • 1、 html、css、js简介
    • 2、 结合万金油框架打造运维平台
    • 3、 webssh讲解
• 8、 爬虫项目
  • 1、 前端基础
  • 2、 beautifulsoup入门
  • 3、 scrapy入门
  • 4、 网站爬虫实战： 微博爬虫