导图社区 规范数据管理,才能高效数据分析
为什么别人做数据分析那么高效?为什么有人却各种加班处理数据?为什么有人要写出64层的if函数嵌套?其实数据处理及分析中的很多“疑难杂症”问题,都是由于你不懂得【规范管理数据】,但这却是数据分析的根基!
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。
这份思维导图是《文明之旅》第 119 期内容,探讨公元 1118 年宋徽宗 “联金灭辽” 决策是否正确。梳理时代背景,介绍海上之盟计划,北宋意图联合新兴女真金朝南北夹击辽国,收复燕云十六州;梳理事件三大转折:北伐军事溃败、短暂收回部分领土达到版图顶峰,最终金国南下,北宋迅速走向灭亡。资料整理南宋后世四种批判观点,从结果论、道德论、战略论、实力论角度,指出联金灭辽的弊端,同时剥离 “亡国即全错” 的简单标签,认为宋徽宗掌握当时最全面情报,决策和国家利益绑定,并非单纯昏庸冲动。“徽宗的账本” 板块分析燕云十六州的战略与政治价值,可以填补北方防务真空、补全皇权合法性;从人口、财政、军事、政局多维度评估 1118 年宋朝实力,当时国力处于百年较佳状态,具备冒险的底气。接着辩驳 “援辽”“中立” 两种备选方案,分析两种方案在现实条件下的不可行性。最后点明宋徽宗存在时代认知局限,无法预见到后来的金国灭国风险,当时中原王朝也没有北方游牧政权颠覆王朝的先例。整张材料多角度复盘北宋关键历史抉择,跳出简单的对错评判,兼顾时代条件与后世结果,无论历史爱好者、中学生历史拓展阅读、备考梳理北宋末年史实,都可以借助这份材料拓宽思考角度。
这是一篇关于《熊逸讲透资治通鉴1·战国七雄》思维导图,《熊逸讲透资治通鉴1·战国七雄》是熊逸“读史大工程”的第一辑,内容聚焦《资治通鉴》周纪一、周纪二,时间跨度从周威烈王二十三年到周显王四十八年。本课程并非简单翻译或注释,而是以近250个问题为抓手,用“串讲”的方式逐字逐句解读。它广泛借助考古材料和前沿研究,视野比司马光本人更开阔。书中不仅涉及三家分晋、商鞅变法、围魏救赵、合纵连横等重大事件,更从社会学、管理学等多维度剖析历史。作者熊逸站在当代人视角,把这部“皇帝教科书”变成现代人也能轻松读懂的通俗读物,为读者展开一幅别开生面的战国历史画卷。
这是一篇关于《文明之旅》思维导图,罗振宇《文明之旅》第 116 期围绕金朝崛起势如破竹的历史谜题,以 “完美风暴” 为核心展开解读。节目从 “基本团体” 理论切入,重点剖析女真猛安谋克制度的独特优势:这套制度以血缘、地缘为纽带构建小型作战单元,形成极强的生死凝聚力,战士荣辱与共、进退协同。与之形成鲜明对比的是北宋军队组织涣散、权责割裂,士兵缺乏共同体归属感,交战时常望风奔溃。论述跳出单纯的古代史视角,引入二战美军相关调研成果,结合奥尔森《集体行动的逻辑》中的理论进行跨时空印证,阐释集体规模与协作效率之间的内在规律。节目进一步提炼出一套历史动力学观点:身处文明边缘、组织紧密的小型族群,往往具备颠覆体量庞大但内部松散的庞大政权的潜力。庞大的体量不等于竞争优势,组织模式、集体凝聚力才是决定战争胜负的关键变量。这套分析跳出传统史学侧重兵器、国力的单一视角,从社会组织底层逻辑解释金灭辽、北宋的历史变局。无论历史爱好者拓展思辨视野、文科学生积累论述素材,或是想要借助社会学理论解读古代战争的读者,都能从中获得全新分析思路。
社区模板帮助中心,点此进入>>
党章建设思维导图
国考地理高频考点知识汇总
公考言语理解与表达-选词填空
公务员省考图形推理
法理学笔记
公考申论命题点
法理学
国考判断课总结【注意】
我的行测痛点
公务员考试:申论
规范数据管理,才能高效数据分析
来源:《数说》第四季开篇
数据不规范,对数据分析师意味着什么? 岁月、眼泪、头发......
什么是不规范的数据管理
不规范数据源的例子
看这公式,就问你晕不晕?
什么是数据源表:可直接关联成透视表、DAX、SQL、VBA的基础统计表
常见不规范数据源
合并单元格
数据源中,不要合并单元格
数据行有合并单元格
数据列有合并单元格
数据源表不用于展示报告,最重要的是好用。存在合并单元格,写公式会非常复杂,也会影响透视分析。
不要使用二维表
怎么区一维表和二维表?
上为二维表,下为一维表
一维表:同一列同一个属性,合理地合并属性
二维表:存在可合并属性的列(一维表通过透视,可以变成二维表)
数据类型不规范
什么叫数据类型,有哪些数据类型?
主要分为三个类型:文本、日期、数字。
数据源不规范的情况,主要是:文本型数字、文本型日期
文本型数字
文本型数字导致计算错误,需转换成数值格式。
文本型日期
常见三种文本型日期
文本型日期使“vlookup"函数无法匹配,透视表无法组合成【年】、【月】等日期维度,需转换成日期格式。
同样的数据结构以多个表独立存在
不同年份(月份)的同结构数据,分布在不同的表
不同类别(分公司、区域、店铺等)的同结构数据,分布在不同的表
正确的做法,应该是把同结构的数据合并
数据源表和报表混和在一起
很多分不清什么是数据源表,什么是报表!! 图中明明是一张数据源表,偏偏要加个汇总,唉!为什么要汇总?不就是为了看每天成交合计吗? 所以关注的这个按天汇总的数据,其实就是报表!报表的数据来源是数据源,报表是你关注的一些对象或指标!
正确的做法应该是把数据源、报表分离,上图关注的内容,直接透视就能轻松实现。
还可以做成透视图,实现可视化,更直观观察数据。
报表是通过函数、透视表、VBA或PQ、PP等技术去实现的对数据源的查询,如果中间有复杂的计算过程,可以添加一个辅助表,以便让各表的功能更清晰,也利于后期的维护!在日常数据分析中,数据源表一般是不更改的,切记!
最标准的数据源管理规范
最规范的数据管理方式是:数据库!数据库就是数据存储的仓库,是数据管理规范的最高标准!日常的数据分析中,处理的一般是从ERP、POS系统的关系型数据库导出来的。
这张图,作为分析的数据源,可以吗?答案是:可以!也不可以!
为什么可以?
如果使用的是函数、透视表的方法,这种数据源管理方法是对的。
为什么不可以?
这样的管理方法,会导致很多的行数据重复!什么意思呢?
S004、S002店铺,都是属于[北区],都在[上海], 数据源表中出现重复存储的数据,表会变得很大,很胖!
把总表拆分成三张独立表:订单表、门店表、产品表。三张独立表又可以相互关联。
拆分的做法是关系型数据库的做法,很好地避免数据冗余的问题!我们的ERP系统的数据库,也是以这样的形式去搭建存储的!
从数据分析的角度看:订单表是事实表,产品表、门店表就是维度表。
拆分成这样的表,Execl要如何做分析呢?用VBA+SQL可以直接处理多表关系,用Power Query也支持合并查询,用Power Pivot天然支持构建多表关系,所以这种多表存储方式可以非常高效地应用。
总结
1、常见的数据源不规范现象:合并单元格、二维表存储、数据类型错误、同结构的多个表独立存储、数据源+报表混成一张表,我们都应该有则改之,无则加勉!
2、学习关系型数据库的数据管理。如果用函数、透视表,则可以接受一个很的表;但是如果用PQ、PP、VBA+SQL等方法做分析的,一定要做成关系型数据表,分离事实表、维度表、再通过Key字段进行表间关系连接!
理论基础是必须的,有思维的驾驭,工具才能玩得更好!