python爬虫

纯干货！你要的Python基础知识点整理好了！本文对变量、语法、条件循环、面向对象、函数、语法规则符、文件的读取及保存、错误异常这些方面进行了全量笔记整理，这些知识点你还记得吗?

python爬虫

• 爬虫基础
  • 实现流程
    • 1 确定url
    • 2 结构分析
    • 3 实现构思
    • 4 捉刀编码
  • urllib爬取
    • 1 引入urlopen，request
    • 2 构建Request,设定url及headers
    • 3 resp = urlopen(req)
    • 4 保存:resp.read().decode()
  • fake_useragent
    • 导包：my_fake_agent UserAgent
    • headers中指定ua.random()
• 爬虫常用选取模块
  • bs4
    • 获取标签：soup.title
    • 获取属性：soup.div['class']
    • 获取内容：soup.title.text
  • xpath
    • 获取内容：names = info.xpath('//div[@class="book-mid-info"]/h4/a/text()')
  • pyquery
    • 类jquery选择器
• 配套工具
  • tesseract: 验证码的识别（准确度一般）
  • 云打码平台
    • 人工识别：准确度高，收费
  • selenium: 自动操作浏览器（支持firefox,chrome等）
    • 当分页时url不变的情况下使用比较方便
• scrapy
  • 基本流程
    • 1 scrapy startproject myfirst
    • 2 scrapy genspider baidu baidu.com
    • 3 scrapy crawl baidu
  • 输出爬取内容
    • spider 中yield字典
    • pipeline中保存到文件
  • 图片下载管道
    • spider.py 拿到image_url,yield
    • settting中配置下载路径IMAGES_STORE
    • ImagePipeline中使用get_media_requests
  • 中间件
    • setting中打开中间件开关
    • middleware.py中构建对应该的处理类
    • 从源码找出对应功能方法，在自己的代码中重写