python爬虫信息

Python是一种跨平台的计算机程序设计语言。 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。本思维导图是python爬虫相关信息提取的思维导图，总结了相关的重要知识点，以方便大家参考！

python爬虫信息标记

• xml
  • 基于html发展起来的通用表达形式
  • xml是用尖括号，标签表达信息的表达形式
• json
  • 对面向对象信息的一种表达形式
  • json是用有类型的键值对标记信息的表达形式
• yaml
  • 递归的定义
  • yaml是用无类型的键值对标记信息的表达形式
• 优点
  • 标记后的信息可形成组织结构，增加了信息维度
  • 标记后的信息可用于通信，存储或展示
  • 标记后的结构与信息一样具有重要价值
  • 标记后的信息有利于程序的理解与应用
• 新知识点
  • 子主题
  • 子主题
• <>.find_all(name,attrs,recursive,string,**kwargs))
  • name
    • 对应标签名称的检索字符串
  • attrs
    • 表示对标签属性值的检索字符串，可标注属性检索
  • recursive
    • 1. 是否对属性全部检索，默认为True
  • string
    • 1. <></>中字符串区域的检索字符串
• 使用方法小技巧
  • <tag>()等价于<tag>.find_all()
  • soup()等价于soup.find_all()
• 正则表达式
  • 引入库操作
    • import re
  • 模糊查询语句
    • re.compiple
• find_all()相关扩展方法
  • <>.find()
  • <>.find_parents()
  • <>.find_next_sibling()
  • <>.find_next_siblings()
  • <>.find_previous_sibling()
  • <>.find_previous_siblings()
• 信息提取方法
  • 方法一
    • 内容
      • 完整的信息的标记形式，在提取关键信息
    • 优缺点
      • 优点
        • 信息解析准确
      • 缺点
        • 提取过程繁琐，速度慢
  • 方法二
    • 内容
      • 无视标记形式，直接搜素关键信息
    • 优缺点
      • 优点
        • 提取过程简洁，速度较快
      • 缺点
        • 提取结果准确性，与内容无关
  • 融合方法
    • 内容
      • 结合解析与搜索方法，提取关键信息
    • 优缺点