Python 爬虫 BeautifulSoup库

本导图总结了Python的BeautifulSoup库的相关知识，并且举例说明其用法。

Python爬虫 BeautifulSoup库

库：BeautifulSoup

将网页源码整理为标签树，从而进行提取和查找

from bs4 import BeautifulSoup

BeautifulSoup对象

使用BeautifulSoup类进行初始化

两个参数，前者是网页内容，后者是解析器。解析器常用'html.parser'

例：soup = BeautifulSoup('<p>data<p>','html.parser')

BeautifulSoup类的基本元素

Tag

标签，最基本的信息组织单元，分别用<>和</>标明

例：soup = BeautifulSoup(demo, "html.parser") print(soup.a)

Name

标签的名字，<p>...</p>的名字是'p',格式：<tag>.name

Attributes

标签的属性，字典形式组织，格式：<tag>.attrs

NavigableString

标签内非属性字符串，<>...</>中字符串，格式：<tag>.string

Comment

标签内字符串的注释部分，一种特殊的Comment类型

遍历

向下遍历

.contents

子节点的列表，将<tag>所有儿子节点存入列表

例：soup = BeautifulSoup(demo, "html.parser") print(soup.head.contents)

.children

子节点的迭代类型，与.contents类似，用于循环遍历儿子节点

例：for child in soup.body.children: print(child)

.descendants

子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

向上遍历

.parent

节点的父亲标签

.parents

节点先辈标签的迭代类型，用于循环遍历先辈节点

例：soup = BeautifulSoup(demo, "html.parser") for parent in soup.a.parents: if parent is None: print(parent) else: print(parent.name)

平行遍历

.next_sibling

返回按照HTML文本顺序的下一个平行节点标签

.previous_sibling

返回按照HTML文本顺序的上一个平行节点标签

.next_sibling

迭代类型，返回按照HTML文本顺序的后续所有平行节点标签

.previous_siblings

迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

例：for sibling in soup.a.next_siblings: print(sibling)

HTML格式化和编码

.prettify()方法

将网页内容格式化打印，增加换行和缩进，方便人阅读

例：print(soup.prettify())

BeautifulSoup库默认使用'utf-8'编码

查找

<>.find_all()

返回一个列表类型，存储查找的结果

完整定义：<>.find_all(name, attrs, recursive, string, **kwargs)

参数

name

对标签名称的检索字符串

例：soup.find_all('a') soup.find_all(['a','b'])

attrs

对标签属性值的检索字符串，可标注属性检索

例：soup.find_all('div', attrs={'class':''}) soup.find_all(id='link')

recursive

是否对子孙全部检索，默认为True

例：soup.find_all('a', recursive=Flase)

string

<>...</>中字符串区域的检索字符串

例：soup.find_all(string = "Python")

<>.find()

搜索且只返回一个结果，字符串类型，同find_all()参数

<>.find_parents()

在先辈节点中搜索，返回列表类型，同find_all()参数

<>.find_parent()

在先辈节点中返回一个结果，字符串类型，同find_all()参数

<>.find_next_siblings()

在后续平行节点中搜索，返回列表类型，同find_all()参数

<>.find_next_sibling()

在后续平行节点中返回一个结果，字符串类型，同find_all()参数

<>.find_previous_siblings()

在前序平行节点中搜索，返回列表类型，同find_all()参数

<>.find_previous_sibling()

在前序平行节点中返回一个结果，字符串类型，同find_all()参数