Python Scrapy爬虫框架

本导图总结了Python的scrapy爬虫框架，包括框架的基本结构、如何使用等。

Python Scrapy爬虫框架

组成部分

五个模块

ENGINE模块（已有实现）

控制所有模块之间的数据流

根据条件触发事件

DOWNLOADER模块（已有实现）

根据请求下载网页

SCHEDULER模块（已有实现）

对所有爬取请求进行调度管理

SPIDERS模块（用户编写）

解析Downloader返回的响应（Response）

产生爬取项（scraped item）

产生额外的爬取请求（Request）

ITEM PIPELINES模块（用户编写）

以流水线方式处理Spider产生的爬取项

由一组操作顺序组成，类似流水线，每个操作时一个Item Pipeline类型

可能操作包括：清理、检验和查重爬取项中的HTML数据、将数据存储到数据库

两个中间件

Downloader Middleware

目的：实施Engine、Scheduler和Downloader之间进行用户可配置的控制

功能：修改、丢弃、新增请求或响应

Spider Middleware

目的：对请求和爬取项的再处理

功能：修改、丢弃、新增请求或爬取项

Scrapy命令行

启动

在CMD中执行：scrapy -h

格式

>scrapy <command>[options][args]

常用命令

startproject命令

格式：scrapy startproject <name> [dir]

创建一个新工程

genspider命令

格式：scrapy genspider [options]<name><domain>

创建一个爬虫

settings命令

格式：scrapy settings [options]

获得爬虫配置信息

crawl命令

格式：scrapy crawl <spider>

运行一个爬虫

list命令

格式：scrapy list

列出工程中所有爬虫

shell命令

格式：scrapy shell [url]

启动URL调试命令行

主要类

Request类

class scrapy.http.Request()

Request对象表示一个HTTP请求由Spider生成，由Downloader执行

属性/方法

.url

Request对应的请求URL地址

.method

对应的请求方法，'GET''POST'等

.headers

字典类型风格的请求头

.body

请求内容主题，字符串类型

.meta

用户添加的扩展信息，在Scrapy内部模块间传递信息使用

.copy()

复制该请求

Response类

class scrapy.http.Response()

Response对象表示一个HTTP响应，由Downloader生成，由Spider处理

属性/方法

.url

Response对应的URL地址

.status

HTTP状态码，默认是200

.headers

Response对应的头部信息

.body

Response对应的内容信息，字符串类型

.flags

一组标记

.request

产生Response类型对应的Request对象

.copy

复制该响应

Item类

class scrapy.item.Item()

Item对象表示一个从HTML页面中提取的信息内容 由Spider生成，由Item Pipeline处理 类似字典类型，可以按照字典类型操作

使用步骤

1.创建一个工程和Spider模板

2.编写Spider

3.编写Item Pipeline

4.优化配置策略