Scrapy框架基础

Scrapy框架，引擎：框架的核心，其他组件在其控制下协同工作；调度器，负责对spider提交的下载请求进行调度；爬虫，负责提取页面中的数据，并产生对新页面的下载请求。

Scrapy框架

• ENGINE
  • 引擎，框架的核心，其他组件在其控制下协同工作
• SCHEDULER
  • 调度器，负责对spider提交的下载请求进行调度
• DOWNLOADER
  • 下载器，负责下载页面（发送http请求/接受http响应）
• SPIDER
  • 爬虫，负责提取页面中的数据，并产生对新页面的下载请求
• MIDDLEWARE
  • 中间件，负责对request对象和response对象进行处理
• ITEM PIPELINE
  • 数据管道，负责对爬取到的数据进行处理
• 实现一个Spider步骤
  • 继承scrapy.Spider
    • import scrapy class BooksSpider(scrapy.Spider): ...
      • 供Scrapy引擎调用的接口，例如用来创建Spider实例的类方 法from_crawler
      • 供用户使用的实用工具函数，例如可以调用log方法将调试 信息输出到日志。
      • 供用户访问的属性，例如可以通过settings属性访问配置文 件中的配置。
  • 为Spider取名
    • class BooksSpider(scrapy.Spider): name = "books" ...
      • 执行scrapy crawl命令时就用到了这个标识，告诉Scrapy使用 哪个Spider进行爬取。
  • 设定起始爬取点
    • class BooksSpider(scrapy.Spider): ... start_urls = ['http://books.toscrape.com/'] ...
      • start_urls通常被实现成一个列表，其中放入所有起始爬取点的 url（例子中只有一个起始点）
      • 由于起始爬取点的下载请求是由引擎调用Spider对象的 start_requests方法产生的，因此我们也可以在BooksSpider中实 现start_requests方法（覆盖基类Spider的start_requests方法）， 直接构造并提交起始爬取点的Request对象。在某些场景下使用这种 方式更加灵活，例如有时想为Request添加特定的HTTP请求头部， 或想为Request指定特定的页面解析函数。
        • class BooksSpider(scrapy.Spider): # start_urls = ['http://books.toscrape.com/'] # 实现start_requests 方法, 替代start_urls类属性 def start_requests(self): yield scrapy.Request('http://books.toscrape.com/', 1 callback=self.parse_book, headers={'User-Agent': 'Mozilla/5.0'}, 2 dont_filter=True) # 改用parse_book 作为回调函数 def parse_book(response): ...
  • 实现页面解析函数
    • 页面解析函数也就是构造Request对象时通过callback参数指定 的回调函数（或默认的parse方法）。
    • 页面解析函数是实现Spider中 最核心的部分，它需要完成以下两项工作：
      • 使用选择器提取页面中的数据，将数据封装后（Item或字 典）提交给Scrapy引擎。
      • 使用选择器或LinkExtractor提取页面中的链接，用其构造 新的Request对象并提交给Scrapy引擎（下载链接页面）。
    • 一个页面中可能包含多项数据以及多个链接，因此页面解析函数 被要求返回一个可迭代对象（通常被实现成一个生成器函数），每次 迭代返回一项数据（Item或字典）或一个Request对象。
• 流动过程
  • 当SPIDER要爬取某url地址的页面时，需要用该url构造一个Request对象，提交给ENGINE
  • Request对象随后进入SCHEDULER按某种算法进行排队，之后的某个时刻SCHEDULER将其出队，送往DOWNLOADER
  • DOWNLOADER根据Request对象中的url地址发送一次http请求到网站服务器，之后用服务器返回的http响应构造出一个Response对象，其中包含页面的html文本
  • Response对象最终会被递送给SPIDER的页面解析函数（构造 Request对象时指定）进行处理，页面解析函数从页面中提取数据，封装成Item后提交给ENGINE，Item之后被送往ITEM PIPELINES进行处理，最终可能由EXPORTER以某种数据格式写入文件（csv，json）；另一方面， 页面解析函数还从页面中提取链接（URL），构造出新的 Request对象提交给ENGINE