网络爬虫

学习python的同学看这里！python爬虫主要知识点总结，根据北理工嵩天的“python网络爬虫与数据分析”MOOC课程总结而来，该课程获得国家精品在线开放课程认证，是一门优秀的python在线学习课程，本导图总结爬虫多个重要库的使用方法，并总结Scrapy爬虫框架主要结构，帮你快速掌握爬虫初级入门技术。

网络爬虫

• BeautifulSoup
  • 用来解析html和SML文档的库
  • 导入
    • from bs4 import BeautifulSoup
    • soup = BeautifulSoup('<p>....</p>', 'html.parser')
  • 遍历功能
    • 平行遍历
      • .next_sibling(s)
      • .previous_sibling(s)
    • 下行遍历
      • .children
      • .descendents
      • .contents
    • 上行遍历
      • .parent
      • .parents
  • 基本元素
    • Tag
    • Name
    • NavigableString
    • Attributes
    • comment
• Requests库
  • 常用方法
    • .request()
    • .put()
    • .get()
      • 获取网页信息，最为常用
    • .head()
      • 网页太大时获取资源概要
    • .post()
    • .delete()
    • .patch()
• Robots协议
  • 网络爬虫盗亦有道
    • /robots.txt
  • 基本语法
    • # 注释
    • *代表所有
    • /代表注释
• 通用代码框架
  • try: r = requests.get(url, timeout=30) r.rase_for_status r.encodig=r.apparent_encoding return r.text except: print("爬取失败")
    • r.raise_for_status：如果响应状态码不是200 它将抛出错误，并被except捕获
• RE
  • regex = re.compile()
  • 方法
    • re.search()
    • re.amtch()
    • re.find_all()
    • re.split()
    • re.sub()
    • re.finditer()
  • 语法
    • 操作符 说明 实例 . 表示任何单个字符 [] 字符集，对单个字符给出取值范围 [abc]表示a, b, c, [a-z]表示a到z单个字符 [^] 非字符集，对单个字符给出排除范围 [^abc]表示非a或b或c的单个字符 * 前一个字符0次或者无限次扩增 abc*表示ab, abc, abcc, abccc等 + 前一个字符1次或者无限次扩增 abc+表示abc， abcc， abccc等 ？ 前一个字符0次或1次扩增 abc？表示ab， abc ｜ 左右表达式任意一个 abc｜def表示abc， def {m} 扩展前一个字符m次 ab{2}c表示abbc {m,n} 扩展前一个字符m至n次（含n次） Ab{1,2}表示abc或abbc ^ 匹配字符串开头 ^abc表示abc且在一个字符串的开头 $ 匹配字符串结尾 abc$表示abc且在一个字符串的结尾 () 分组标记，内部只使用 | 操作符 (abc)表示abc, (abc|def)表示abc， def \d 数字，等价于[0-9] \w 单词字符，等价于[A-Za-z0-9]
• 实例
  • 京东商品页面爬取
  • 亚马逊商品的页面爬取
  • 百度/360搜索关键字提交
  • 网络图片的爬取和存储
  • IP地址归属地的自动查询
  • 中国大学排名定向爬取
  • mastersportal相关专业对应的校名爬取
  • 以爬虫视角看待网络
• 提取方法
  • beautifulsoup
    • .find_all(name, atts, recursive, string)
    • <tag>.(.....)等价于<tag>.find_all(.....)
• Scrapy框架
  • Engine
  • Downloader
  • Spider
  • Scheduler
  • Item Pipelines
  • Downloader Middleware
  • Spider Middleware
• 信息标记
  • html
    • hyper text markup language
    • www(world wide web)的组织信息方式
    • 超文本
      • 将声音，图像， 视频嵌入到文本
  • XML
    • eXtensible Markup Language
    • 与html类似
  • JSON
    • JavaScript Object Notation
    • 有类型的键值对
  • YAML
    • YAML Ain't Markup Language
    • 无类型的键值对