LV1数据清洗课程全图（无二维码）

PowerBI数据清洗核心功能课程全图，每天一点点进步亿点点，简约而不简单，简约让BI更简单。

PowerBI 简约派

|

LV1数据清洗

商

业

智

能

分

析

培

训

计

划

更

高

效

的

Power

BI

使

用

技

巧

全

功

略

每天一点点

进步亿点点

简约而不简单

简约，让BI更简单

结尾

PowerBI简约派全产品介绍

7天入门 训练营

预计5月上线首期训练营，内容包含入门PowerBI视频教程、已上线LV1-LV8的纸质版一图文档、7天免费PowerBI AI助手、一份免费可视化模板。

知识圈

全免费鹅圈子，所有用户均可加入知识圈，在知识圈内获取免费的PowerBI模板与素材。

PowerBIAI助手

加入会员可获取PowerBI AI助手长期使用权限

LV1 数据清洗

现已完成更新，核心内容为Power Query数据清洗技巧。

LV2 数据建模

现已完成更新，核心内容为关系建模、DAX公式讲解。

LV3 数据 可视化

现已完成更新，核心内容为可视化基础/高级/进阶操作以及一套可视化模板

均已上线小鹅通

LV4 可视化 模板

预计5月上线，全年更新10套可视化模板

LV5 数据分析 专项案例

预计7月上线，重点讲解业务数据分析逻辑以及如何用PowerBI实现

LV6 Excel BI

预计8月上线，内容为Excel配合PowerBI快速完成双模型的高效技巧。

LV7 企业经营模型

预计年底上线，内容为讲解企业经营全景图以及背后的价值。

LV8 PowerBI Pro

预计24年上半年上线，将联合企业部署专家完成课程录制。

6

数据清洗实战案例

全国人口数据清洗案例

案例价值：该案例是多个非结构化表格快速完成数据清洗的典型案例，通过案例的实操，可以快速学习对应重复的非结构化表格，如何通过一步步按钮完成数据清洗，并在设置新建参数、创建自定义函数和调用自定义函数的方式，完成批量数据清洗。

详细操作扫描二维码获取视频教程。

通过API高德获取经纬度 案例

案例价值：该案例是通过高德API服务，快速获取经纬度数据的内容，该案例主着重是理解通过Power Query的web服务，设置动态API链接后，完成批量的数据获取与合并。

详细操作扫描二维码获取视频教程。

6

数据清洗实战案例

快速清洗学生 成绩表

案例价值：该案例是二维表转换为一维表的典型案例，在各行业工作中都非常实用。案例中使用到了填充、添加自定义列、删除列、重排序、删除行、转置、提升标题、重命名、逆透视、按分隔符拆分列。

详细操作扫描二维码获取视频教程。

5

M语言入门数据清洗技巧

认识高级编辑器

使用场景：在添加新建参数的时候，以及修改对应代码的时候，可以用高级编辑器快速查看全部代码内容，完成快速修改。

其他内容：主要注意M公式的语法结构，一个步骤都是一段代码，都会以步骤名称 = 具体公式内容为结构展示，结尾以”in“去表达返回哪个步骤，即最后返回的内容并不一定是最后一步的结果。

常用 M语言 公式

使用场景：Excel.Workbook与Csv.Document这两个M公式多用于多表批量合并，主要作用是减少按钮合并文件时自动生成的转换文件，加快后期运行效率。

其他内容：推荐长期使用PowerBI的用户掌握这两个常用的M公式，对后期模型的运行效率有极大的帮助。

特别关注：若是使用Csv.Document后出现乱码，请使用： Csv.Document([Content], [Encoding=936])

M语言 自学建议

使用步骤：

1. 新建空白查询，在编辑框内输入= #shared

2. 在生成列表后，点击转换为表

3. 根据表内容，筛选需要的M公式，这里以Excel.Workbook为例。

4. 筛选后点击function即可调用函数，输入对应参数即可调用M公式。

使用场景：该方式包含所有M公式，可通过文字内容、带入参数的方式，在PQ中学习M公式。

4

进阶数据清洗技巧-3招

新建参数

使用步骤：

1. 导入查询，使用基础数据清洗、高级数据清洗完成所有数据清洗。

2. 在查询空白处点击邮件，选择新建参数，进入新建参数界面。

3. 根据参数需求，设置对应内容，一般设置为文本格式。

4. 找到需要加入参数的步骤，打开M公式编辑框，将需要替换成参数的部分内容使用&符号完成链接。

使用场景：在M语言公式带入动态参数时可用新建参数，可根据用户需求动态选择内容后，自动刷新结果，同时可配合自定义函数，生成一键动态的批量公式，快速完成复杂工作。在将PowerBI文件发送给别人时，快速输入文件路径时非常有用。

其他内容：新建参数多以文本格式展示，在M语言公式中直接以&符号完成链接即可。

创建 自定义 函数

使用步骤：

1. 先对导入查询的完成新建参数的关联，若未关联新建参数，无法生成自定义函数。

2. 点击查询后，选择创建函数。

3. 输入函数名称，并确认函数的参数内容。

4. 生成自定义函数，在输入框输入参数内容，并点击调用。

5. 生成新表，完成重命名即可。

使用场景：可快速生成多参数的表格，并且可以输入不同的参数，快速完成不同内容表格的筛选与清洗。

其他内容：下一节的调用自定义函数需要先完成创建才能进行。

调用 自定义 函数

使用步骤：

1. 完成新建参数、创建自定义函数，并准备一张包含相关参数内容的表。

2. 在新增的参数表上调用自定义函数。

3. 根据参数内容选择对应列/输入文字参数。

4. 点击添加自定义函数的Table列，该列中每一行包含一个表，点击展开按钮，即可完成批量清单和合并。

使用场景：对于重复复杂的清洗工作，可用新建参数+创建自定义函数+调用自定义函数的方式快速完成，类似于录制宏并调用宏的操作。

其他内容：第6章的通过高德API获取经纬度数据，就是此办法的基础上完成的。

3

高级数据清洗技巧-6招

条件列

使用场景：可使用条件列功能在PQ中设置IF判断公式，无需写任何公式即可完成，且可快捷完成多个IF判断的嵌套制作。

其他内容：条件列的返回内容除了固定的文本内容外，还可以设定为返回其他列的内容。同时条件列的判断条件中有包含选项，可通过模糊查询，快速完成IF判断。

自定义列

使用场景：可通过自定义列完成简单的加减乘除，同时可将字段直接引用进行计算，即成本率=产品成本/销售金额，选定对应列即可完成。

其他内容：自定义列也是快速完成M公式写作的途径。

3

高级数据清洗技巧-6招

追加查询

使用场景：在获取数据的时候，使用文件夹可批量做多表合并，若是已经单独导入至PQ中后，需要使用追加查询完成多表合并。

其他内容：追加查询可在原表上进行追加，也可以当前表生成新查询后，再做追加。

合并查询

使用场景：学会合并查询，数据处理的效率将极大的提升。因为合并查询是超级“VLOOKUP”。只要是需要用到VLOOKUP的，都可以用合并查询，同时合并查询可一次性完成多列的查找匹配。重点关注红色圈内的字段类似VLOOKUP的第一个参数，蓝色圈内的字段类似VLOOKUP的第二个参数起始列，合并查询无需设置查找第几列，可同时查找多列内容。

其他内容：合并查询除了替代VLOOKUP以外，还可以通过其他5种不同的联接种类进行不同的设置，以及还可以通过设置模糊匹配选项，设置不同模糊等级的方式进行查询，详细内容可查看视频教程。

逆透视

使用场景：在获取到的数据属于二维表时，即可使用逆透视功能将二维表转换为一维表。逆透视提供逆透视选定列，以及逆透视其他列，根据逆透视的列数进行选择。

其他内容：二维表是既有行也有列，类似于透视表通过行列标签进行筛选数据；一维表只有列，每一列为独立的数据内容，一般为数据库与清单内容。在PowerBI的底层运作中是以列式数据库运作，所以所有加载到模型中的数据必须为一维表。逆透视是PowerBI不可替代的功能。

填充

使用场景：在很多手工表格中，会有合并单元格，尤其是行列标题经常出现合并单元格，数据加载到PQ中后，合并单元格只会保留第一个数据，其他全部为null，这是就要用到填充。

其他内容：填充分为向下填充，将根据当前列靠前的内容向下进行填充，以及向上填充，根据当前列靠前的内容向上进行填充，同时填充会以已有数据作为填充节点不会产生填充冲突。

2

基础数据清洗技巧-20招

对行计数

使用场景：可在PQ中快速对数据量进行统计。

分组依据

使用场景：分组依据类似Excel中透视表仅以行标签统计数据，可用于快速统计分类汇总数据。

其他内容：可在高级选项中同时添加多个分组计算值。

复制引用

使用场景：在PQ查询上点击右键，即可选择复制/引用。在需要新增相同表，而不想重头导入制作时可使用。

其他内容：复制为复制一份相同的新查询，新查询与旧查询之间没有关联；引用为复制一份相同的新查询，但新查询是在旧查询的基础上进行关联，即旧查询新增步骤后，新查询也会发生变化。使用前需评估后需求再确定如何操作，避免后续模型出现问题。

启用加载 启用刷新

未启用加载

未启用刷新

使用场景：在PQ数据加载时，可启用/关闭加载或启用/关闭刷新。主要用于优化模型运行效率时使用，

其他内容：若未启用加载，查询将不会加载PowerBI数据模型中，即后续建模将无法使用到该查询；若未启用刷新，该查询将无法通过PowerBI主页的刷新按钮进行一键刷新。

2

基础数据清洗技巧-20招

第一行 作为标题

使用场景：部分Excel表格导入后，Excel中的第一行并未成为标题，而是第一行内容，这时需要用到该功能。尤其是手工Excel，常常出现这类问题。

其他内容：与第一行作为标题作为对比的，还有将标题作为第一行，可将标题退回到第一行内容进行整理。

筛选

使用场景：将表格加载到PQ中后，每一列都将自动生成筛选按钮，筛选方式大致类似Excel中筛选。

其他内容：PQ中的筛选无法取消筛选，只能进行删除步骤。

删除列

使用场景：在删除多余列内容时，使用该功能，与Excel不同的是无法撤销删除列与行，只能删除步骤。

其他内容：PQ中提供了删除其他列，即仅保留选定的列，其他列全部删除。

删除 重复项

使用场景：在删除多余行内容时，使用该功能，同时可删除重复项，类似于Excel中的删除重复项操作。

其他内容：以单列作为重复判断依据的话，选择单列即可，若以多列作为重复判断依据的话，可用Ctrl/shift多选列进行删除。

删除 空白项

使用场景：在删除多余行内容时，使用该功能，可根据列中的空白内容进行删除。

修改数据类型/ 检测数据类型

使用场景：可以对PQ中的列内容进行批量格式修改。

其他内容：PQ默认打开自动修改未结构化的列类型，在部分情况将出现数据格式错误。可取消自动检测未结构化的列数据，再配合检测数据类型进行手动检测。

替换值

使用场景：类似Excel中批量替换值，但需按照列进行统一替换，或者所有列统一替换。

移动列

使用场景：与Excel的剪切+粘贴不同，PQ中可直接鼠标左键单击列后不放开鼠标直接拖动到对应位置。

其他内容：还可在移动单个列后，修改M公式中的文字顺序，即可完成快速的多列移动。

拆分列

使用场景：拆分列分为按分隔符和按字符数两种方式，与Excel中的分列内容类似，但不同之处会自动删除原列新增两个拆分列内容。

其他内容：拆分列还可以进行同一条件多次拆分，比如2023-4-18，按“-”重复拆分，将直接拆分为三列新数据：2023、4、18，效率比Excel的分列更快。

重命名列

使用场景：双击即可对列标题进行重命名。

其他内容：多列重命名可在一条M公式中完成，故建议在所有清洗步骤完成后，最后进行统一的重命名列，可优化PQ运行效率

日期

使用场景：PQ中提供多种日期快速修改功能，年、月、季度、周、天等，每种又提供了不同的选项。

其他内容：在不会使用数据建模日期表的情况下，可使用重复列+日期转换功能，快速将日期分别转换为年、月、日，用于后续做日期数据分析。

转置

使用场景：转置功能可快速将行列进行调换，转置前需评估行数，否则转置无法正常运行，或运行效率较慢。

其他内容：转置+向下填充可快速对不规则的列标题进行结构化调整，一般对手工采用此办法清洗，详见视频教程。

前言

数据清洗的作用与价值

作用

1. 数据连接和整合：

Power Query 可以使你轻松连接多个数据源，并将它们整合到一个数据模型中。

例如，你可以从 Excel 工作簿、CSV 文件、数据库、Web API 等多个数据源中提取数据，然后对其进行清洗和整合。

从而在数据建模中进行关联，完成多维分析，可连接和整合收集到的各种类型数据。

2. 数据处理和清洗：

Power Query 可以帮助你进行数据的处理和清洗。

例如去除重复行、替换值、填充空值、拆分行、合并表格等操作，在 Power BI 中，这些操作可以通过 Power Query 的直观界面和一系列内置函数来实现。

3. 数据转换和格式化：

Power Query 提供了许多强大的转换和格式化数据的功能。

例如分组、聚合、排序、透视表格等操作。这些功能可以让你在 Power BI 中更轻松地对数据进行处理，以便可视化和探索数据。

价值

1. 数据整合：

在现代商业环境中，数据通常存在于多个来源，并且可能以不同的格式和结构存储。

Power Query 可以帮助数据专业人员从不同的数据源中提取数据，创建单个视图，以使数据更易于分析和使用。

2. 数据质量：

数据质量是任何数据分析和决策的重要基础。

Power Query 可以帮助数据专业人士，自动化数据清洗和质量保证，通过提高数据准确性和完整性，保证数据的质量。

3. 性能提升：

传统的数据分析方法可能需要占用大量的时间和资源，而 Power Query 旨在提高分析的速度和效率。

Power Query 提供了一系列性能优化措施，如过滤器应用、列删除等方法，能够最大限度地减少处理时间，提高数据分析的效率。

1

获取数据

一、获取单个Excel/Csv的方法

获取单个Excel文件

第一步

方式1

主页点击Excel文件图标

方式2

主页点击获取数据-Excel工作簿

方式3

Power Query编辑器-新建源-Excel工作簿

第二步

选择对应Excel工作簿

第三步

选择对应需要加载的Sheet工作表

可使用√按钮完成多选Sheet同时加载的效果

并点击确定，完成加载

获取单个Csv文件

第一步

方式1

主页点击获取数据-文本/CSV

方式2

Power Query编辑器-新建源-文本/CSV

第二步

选择对应Csv工作簿

第三步

核实Csv转换格式，避免出现乱码

M语言内容中有解决Csv乱码的办法

点击确定完成加载

二、文件夹批量获取相同字段内容的Excel/Csv文件

文件夹批量获取数据

第一步

存放相同字段的清单

文件夹中的Excel/Csv文件的列标题必须一致。

第二步

主页点击获取数据-更多-文件夹

也可点击Power Query中的新建源-更多-文件夹

第三步

点击合并并转换数据

选择示例文件以及Sheet文件

点击确定完成批量获取，并自动完成多表批量合并

三、更多种类的数据获取

前35种数据获取类型，可点击获取数据-更多查看所有类型