大数据知识树

大数据框架, 概念及内容, 用于梳理知识结构,包含hadoop平台,数仓结构,hive等。

大数据知识树

数据来源

概述

内部

埋点

概述

对比

流程

维度

文档

案例

外部

竞争对手

爬虫

国家统计局

友商提供

数据仓库 DW

简介

数据仓库(Data Warehouse)，简称DW。数据仓库顾名思义，是⼀个很⼤的数据存储集合，出于企业的分析性报告和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。它为企业提供⼀定的BI（商业智能）能⼒，指导业务流程改进。

作用

存储

提取

跨部门应用

特征

面向主题

集成

稳定不易丢失

反映历史变化

图示

对比数据库

数据库

OLTP

On-line Transaction Processing

在线事务处理

数据仓库

OLAP

On-line Transaction Processing

在线分析处理

对比表

架构

设计目标

分层架构

元数据管理

数据治理

脏数据

治理原则

Hadoop平台

简介

⼤数据的分布式存储和计算平台

优点

⾼可靠性

Hadoop按位存储和处理数据的能⼒值得⼈们信赖

⾼扩展性

Hadoop是在可⽤的计算机集群间分配数据并完成计算任务，这些集群可以⽅便地扩展到数以千计的节点中

⾼效性

Hadoop能够在节点之间动态地移动数据，并保持各个节点的动态平衡，因此处理速度⾮常快

⾼容错性

Hadoop能够⾃动保存数据的多个副本，并且能够⾃动将失败的任务重新分配

低成本

Hadoop是开源的，项⽬的软件成本因⽽得以⼤⼤降低

生态圈

概览

分类

HDFS

全称

Hadoop Distributed File System

原理

将⽂件切分成固定⼤⼩的数据块block,默认的固定⼤⼩是128MB

分布式存储

统一访问接口

NameNode

优点

分布式存储

⽀持分布式和并⾏计算

⽔平可伸缩性

基本组件

HDFS Client

提供命令管理HDFS

NameNode

管理整个文件系统的元数据 , 工作职责：管理元数据、维护目录结构、响应客户端请求

DataNode

复制管理用户的文件数据块, 工作职责：管理用户提交的数据 心跳机制 块报告

SecondaryNameNode

NameNode的助理，帮助加载元数据，紧急情况下（例如NameNode宕机），可以帮助恢复数据

四大机制

心跳机制

Master/Slave结构

Master

NameNode

Slave

DataNode

默认DataNode向NameNode发送请求的时间间隔为3s

NameNoder如果长时间没有接收到DataNode的心跳，也会每隔一段时间(5min)向DataNode发送请求，一共会发两次

安全模式

HDFS集群正常冷启动时，NameNode也会在safemode状态下维持相当长一段时间，等待它自动退出安全模式即可

副本存放策略

将每个文件的数据进行分块存储，每一个数据块有保存有多个副本，这些数据块副本分布在不同的机器节点上

负载均衡

机器容量最高的那个值和最低的那个值差距不能超过10%

图示

MapReduce

作用

分布式计算

策略

分而治之

理念

计算向数据靠拢而不是数据向计算靠拢

原理

Map

将⼀个任务分解成为多个任务

Reduce

将分解后多任务处理的结果汇总起来，得出最后的分析结果

图示

数仓分层

好处

结构清晰

每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解

减少开发

规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算

统一口径

通过数据分层，提供统一的数据出口，统一对外输出的数据口径

简化问题

将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题

结构

案例

电商网站数仓

hive

起源

Hive是Facebook为了解决海量日志数据的统计分析而开发的基于Hadoop的一个数据仓库工具(后来开源给了Apache软件基金会)

功能

可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能

特点

Hive 本身并不支持数据存储和处理，只是一个面向用户的编程接口

Hive 依赖分布式文件系统HDFS存储数据

Hive 依赖分布式并行计算模型MapReduce 处理数据

借鉴SQL语言设计了新的查询语言HiveQL

查询原理