导图社区 大数据思维导图
- 274
- 0
- 0
- 举报
大数据思维导图
这是一篇关于大数据思维导图，大数据导论，帮助读者系统了解大数据，介绍详细、描述全面、希望能对感兴趣的小伙伴学习提供帮助。
编辑于2023-12-03 18:04:17- 大数据
- 相似推荐
- 大纲
大数据
大数据概述
大数据时代
互联网与大数据
互联网产生
互联网催生大数据
信息技术与大数据
信息采集技术
信息存储技术
信息处理技术
信息传输技术
云计算与大数据
物联网与大数据
大数据的概念
狭义的大数据
用现有的一般技术难以管理的大量数据的集合
广义的大数据
大数据是指在信息爆炸时代所产生的巨量数据或海量数据，并由此引发的一系列技术及认知观念的变革
大数据的特征
数据量大Volume
存储量大
增量大
数据种类多Variety
来源多
格式多
数据速度快Velocity
高度数据
数据价值密度低Value
发展大数据的意义
大数据时代的思维变革
大数据及其本质
数据作为信息表达方式，是物质与意识共同作用的结果
数据具有客观实在性
大数据时代的三大转变
大数据时代的全数据模式
接受数据的混杂性
允许不精准
纷繁数据越多越好
混杂性是标准途径
新的数据库设计
突出数据的相关性而不是因果性
关联物是预测的关键
探求“是什么”而不是“为什么”
通过因果关系了解世界
大数据成为一种竞争优势
大数据应用需求增多
大数据应用程序兴起
实时响应是大数据用户的新需求
企业构建大数据战略
大数据的采集与存储
大数据的分类
结构化数据
传统关系数据库数据，行数据
半结构化数据
和普通纯文本相比有一定的结构性，但和具有严格理论模型的关系数据库的数据相比灵活
特征
结构数据自描述性
无需区分元数据和一般数据
数据结构描述的复杂性
数据结构描述的动态性
非结构化数据
不会使用数据库二维表来表现，如图片、文件、超媒体
数据处理主要包括
web页面信息内容的提取
结构化处理（含文本的词汇切分、词性分析、歧义处理）
语义处理（实体提取、词汇相关度分析、句子相关度分析）
文本构建（含向量空间模型、主题模型）
大数据环境下的数据来源
传统商业数据
以结构化数据为主
企业ERP系统、POS终端及网上支付系统
互联网数据
网络空间交互过程中产生的大量数据，包括社交媒体和通信记录
有大量化、多样化和快速化的特点
物联网数据
在计算机互联网的基础上，利用射频识别RFID、传感器、红外感应器、无线数据通信等技术构造一个覆盖世界上万事万物的the internet of things
有数据量更大、传输速率更高、数据更加多样化以及对数据真实性要求更高
常用的数据采集方法
系统日志
Scribe
Facebook公司开源的日志收集系统
组成
Scribe Agent
Scribe
DB存储系统
Chukwa
组成
适配器
代理
收集器
多路分配器
存储系统
数据展示
Flume
是Cloudera公司提供的分布式、可靠和高可用的海量日志采集、聚合和传输系统
网页数据
组成
采集模块
数据处理模块
数据模块
爬取策略
深度优先遍历
宽度优先遍历
反向链接数策略
OPIC策略
大站优先策略
其他数据
大数据时代的存储管理系统
文件系统
文件系统是操作系统中的一部分，用于组织和管理计算机上的文件和目录
传统的文件系统如NTFS、EXT4等可以用于小规模的数据存储，但在大数据处理中可能面临性能瓶颈
分布式文件系统
它将数据分布在多个存储节点上，通过网络连接这些节点，实现高可靠性、高吞吐量和可扩展性
一些常见的分布式文件系统包括Hadoop HDFS、Google的GFS（Google File System）和Ceph等
数据库系统
数据库系统是一种用于存储、管理和检索结构化数据的软件系统
如Apache HBase、Apache Cassandra和MongoDB等
这些数据库系统通常采用分布式架构，具有高可扩展性和容错性
云存储
云存储是一种将数据存储在云计算环境中的解决方案。它提供了可靠的、可扩展的存储服务，使用户可以通过互联网访问和管理其数据
结构模型
存储层
基础管理层
应用接口层
访问层
数据可视化
数据可视化概述
什么是数据可视化
可视化的发展历程
数据可视化分类
科学可视化
信息可视化
可视化分析学
数据可视化图表
散点图
气泡图
折线图
柱状图
热力图
雷达图
其他
漏斗图
树图
关系图
词云
桑基图
日历图
数据可视化工具
入门级
excel
信息图表工具
canva
visem
google charts
piktochart
venngage
D3
Echarts
大数据魔镜
地图工具
My maps
batchgeo
fusion tables
mapshaeper
cartoDB
mapbox
Map stack
modest maps
时间线工具
timetoasyt
xtimeline
tumeline maker
高级分析工具
R
Pythome
Weka
Gephi
实时可视化
支撑大数据的技术
开源技术的商业支援
大数据的技术架构
基础层
管理层
分析层
应用层
大数据处理平台
Hadoop
特性
高可靠性
采用冗余数据存储方式
高效性
采用分布式存储和分布式处理两大核心技术，高效处理PB级别数据
高可扩展性
高容错性
成本低
运行在linux平台啥
基于JAVA开发
支持多种编程语言
核心组件
Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）
HDFS是Hadoop的存储层，用于在大规模分布式环境中存储数据
HDFS存储数据的优缺点
1. 优点
高可靠性：HDFS通过数据冗余和容错机制提供高可靠性。它将文件数据分割成多个数据块，并在集群中的多个节点上复制多个副本。如果某个节点发生故障，可以从其他节点恢复丢失的数据副本。
高可扩展性：HDFS可以在大规模集群上存储和处理海量数据。它支持水平扩展，可以通过增加额外的节点来增加存储容量和处理能力，以满足不断增长的数据需求。
适应大文件存储：HDFS适用于存储大文件，因为它将文件切分成固定大小的数据块进行存储。这种方式有助于提高数据处理效率，并减少了元数据的开销。
高吞吐量：HDFS优化了数据访问和传输的方式，通过并行读写和数据本地性原则，实现了高吞吐量的数据访问。这使得HDFS在大数据处理和分析任务中表现出色。
2. 缺点：
低延迟访问：HDFS的设计目标是处理大数据集的批处理任务，而不是实时数据访问。因此，对于需要低延迟响应的应用场景（如在线事务处理），HDFS的访问延迟相对较高。
不适合小文件存储：由于HDFS将文件切分成数据块进行存储，对于大量的小文件，会导致存储开销增加和元数据管理复杂化。因此，HDFS并不适合存储大量小文件。
一致性和实时性：HDFS采用了最终一致性模型，这意味着对于同一文件的并发写操作可能导致数据一致性问题。此外，HDFS也不适合需要实时数据访问和更新的应用场景。
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的资源管理和作业调度框架
MapReduce是Hadoop的计算模型，用于处理大规模数据集的并行计算
生态系统
Hive是一个数据仓库基础设施，提供类似SQL的查询语言（HiveQL）来处理和分析存储在Hadoop中的数据
Pig是一个用于大规模数据处理的平台，提供一种名为Pig Latin的脚本语言。Pig Latin语言是一种数据流语言，可以用于描述数据的转换操作和分析流程。
HBase是一个分布式的面向列的NoSQL数据库，建立在Hadoop的HDFS之上。它提供实时读写访问大规模结构化数据的能力，并具有高可扩展性和高可靠性
Spark是一个快速、通用的大数据处理引擎，可以在内存中进行大规模数据集的并行计算
Sqoop是用于在Hadoop和关系型数据库之间进行数据传输的工具。它可以将关系型数据库中的数据导入到Hadoop中进行分析，并将Hadoop中的结果数据导出到关系型数据库中
Flume是一个可靠、可扩展的大数据采集系统，用于从各种数据源（如日志文件、传感器数据等）收集、聚合和移动数据到Hadoop中。
应用场景
系统日志分析
用户习惯分析
Storm
特性
完整性
acker机制，数据不丢失
容错性
易用性
免费和开源
支持多种语言
核心组件
Topology（拓扑）
Spout（数据源）
Bolt（处理组件）
Stream（数据流）
Nimbus（主节点）
Supervisor（工作节点）
ZooKeeper（分布式协调服务）
应用场景
信息流处理
连续计算
分布式远程程序调用
Spark
特性
快速性
弹性扩展性
多种计算模型
多语言支持
综合性
架构
Driver是Spark应用程序的主要组件，驱动器程序运行在一个独立的进程中，负责整个Spark应用程序的控制和协调
Cluster Manager负责管理Spark应用程序在集群上的资源调度和任务分配
Executor是在集群中的工作节点上运行的进程，负责执行具体的任务。
RDD是Spark的核心数据抽象，它是一个可分区、可并行操作的不可变数据集合。
DAG调度器负责将Spark应用程序中的操作转换为有向无环图（DAG），并进行优化和调度
Task Scheduler负责将Stage中的任务分配给可用的Executor进行执行
在Spark应用程序中，当需要进行数据重洗（Shuffle）操作时，数据会在不同的Executor之间进行网络传输和重新分配
扩展功能
Spark SQL是Spark的结构化查询模块，提供了用于处理结构化数据的高级API和查询语言
Spark Streaming是Spark的流处理模块，用于实时处理和分析数据流
MLlib是Spark的机器学习库，提供了一系列的机器学习算法和工具，用于数据挖掘、预测分析和模型训练
GraphX是Spark的图计算库，用于处理大规模图数据和图算法
SparkR是Spark的R语言接口，使得R语言用户可以使用Spark进行大规模数据处理和分析
应用场景
多次操作特定数据集的应用场景
粗粒度更新状态应用
数据量不是特别大，但是适合实时统计分析的需求应用
三者的比较
数据处理模型
Hadoop适用于离线的大规模数据处理任务，主要用于批量数据的存储和分析
Spark支持批处理、实时流处理、交互式查询和机器学习等多种数据处理模型
Storm是一个实时流处理框架，用于处理连续的数据流
执行速度
由于Hadoop采用磁盘存储和MapReduce的批处理模型，适合处理大规模的离线数据，但对于实时性要求较高的场景，速度可能较慢
Spark通过内存计算和基于RDD的数据抽象，它可以将数据保留在内存中进行迭代计算，适用于需要更高性能和交互性的数据处理任务
Storm专注于实时流处理，具有低延迟和高吞吐量的特点，适合对实时数据进行快速处理和分析
数据处理能力
Hadoop提供了可靠的分布式文件系统（HDFS）和可扩展的MapReduce计算模型，适用于海量数据的存储和批量处理。它具有良好的容错性和数据可靠性
Spark提供了更丰富的数据处理能力，支持批处理、实时流处理、交互式查询和机器学习等多种模型。它还提供了高级API和库（如Spark SQL、Spark Streaming和MLlib），简化了大数据处理和分析的开发
Storm专注于实时流处理，提供了可靠的消息传递和流拓扑处理模型。它可以实时处理大规模的数据流，并支持复杂的流处理逻辑
生态系统和支持
Hadoop拥有广泛的生态系统和大量的工具和组件，如Hive、Pig和HBase等，可以进行更高级别的数据处理和分析。它有成熟的社区和广泛的支持
Spark也有活跃的开源社区和丰富的生态系统，支持多种数据处理和机器学习任务。它与Hadoop生态系统集成紧密，可以与HDFS、Hive和其他Hadoop组件无缝协作
Storm的生态系统相对较小，主要关注实时流处理领域。它提供了一些与其他工具和系统集成的插件，如Kafka和Cassandra
云计算
云计算的概念与特点
概念
云计算是一种动态扩展的计算模式，通过网络虚拟化的资源作为服务他提供给用户
特点
超大规模
虚拟化
高可靠性
通用性
高可扩展性
按需服务
极其廉价
云计算的主要部署模式
公有云
公有云是由第三方服务提供商（如亚马逊AWS、微软Azure和谷歌云平台）建立和管理的云计算基础设施
私有云
私有云是由组织自己建立和管理的云计算基础设施，用于支持其内部业务需求
混合云
混合云是公有云和私有云的结合，通过连接和集成这两种云环境来提供更灵活和多样化的解决方案。在混合云中，组织可以根据需求将工作负载和应用程序部署到公有云或私有云中
云计算的主要服务模式
基础设施即服务（Infrastructure as a Service，IaaS）
IaaS是云计算中最基础的服务模式，它提供了虚拟化的计算资源、存储和网络等基础设施
常见的IaaS提供商包括亚马逊AWS的EC2、微软Azure的虚拟机服务和谷歌云平台的Compute Engine等
平台即服务（Platform as a Service，PaaS）
PaaS提供了在云环境中开发、运行和管理应用程序的平台
常见的PaaS提供商包括微软Azure的App Service、谷歌云平台的App Engine和Heroku等
软件即服务（Software as a Service，SaaS）
SaaS是云计算中最高层次的服务模式，它提供了完全托管的应用程序，用户通过互联网直接访问和使用这些应用程序
常见的SaaS应用包括电子邮件服务（如Gmail）、在线办公套件（如Microsoft 365和Google Workspace）以及客户关系管理（CRM）系统（如Salesforce）
云计算的主要技术
虚拟化技术
虚拟化技术可以实现服务器虚拟化、存储虚拟化和网络虚拟化等，使得云计算平台能够实现资源的弹性分配和管理
中间件技术
中间件技术在云计算中起到连接和协调不同组件和服务的作用。它提供了一系列的软件工具和服务，用于管理和调度应用程序的部署、配置和执行
中间件技术还包括负载均衡、容器技术、消息队列和服务编排等，用于提供高可用性、可伸缩性和灵活性的云计算环境
云存储技术
云存储技术是用于存储和管理大规模数据的技术
云计算与大数据的关系
云计算提供了强大的计算和存储资源、弹性和成本效益的优势，为大数据处理和分析提供了理想的基础设施和工具
云计算为大数据的存储、处理和分析提供了高效、灵活和可扩展的解决方案，促进了大数据技术的发展和应用
应用
商业大数据
精准营销
数据收集与整合
用户画像构建
目标市场细分
预测分析和模型构建
个性化营销活动执行
结果评估和优化
决策支持
概念
决策支持是一种信息技术和管理科学相结合的方法，旨在为决策者提供决策所需的信息、工具和模型。
它通过分析和解释数据、提供决策模型和算法、以及提供可视化和交互界面等方式，帮助决策者进行决策。
分类
结构化决策
非结构化决策
半结构化决策
进程步骤
发现问题并形成决策目标
用概率定量地描述每个方案所产生的各种结局的可能性
决策人员对各种结局进行定量评价
综合分析各方面信息
决策支持系统的功能
数据管理和整合：收集、整合和管理与决策相关的数据。
模型和算法支持：提供各种决策模型和算法，用于分析和预测。
可视化和交互界面：通过可视化展示和交互界面，帮助决策者理解和操作数据。
场景模拟和优化：支持对不同决策方案进行模拟和优化，评估其潜在效果。
协作和共享：支持决策团队的协作和信息共享，促进集体决策过程。
创新模式
概念
创新模式是指用于创新和改变现有商业模式的方法和策略。它关注如何通过创造性地运用资源、技术、市场洞察和商业逻辑，为市场提供新的价值主张并获得竞争优势
构成条件
提供全新的产品和服务、开创新的产业领域
其商业模式至少有多个要素不同于其他企业
有良好的业绩表现
方法
改变收入模式
订阅模式：将产品或服务提供为订阅模式，通过定期收取费用来获取稳定的收入流。
广告模式：将产品或服务提供免费或低价，通过广告收入来获取利润。
Freemium模式：提供基本功能的免费版本，同时提供高级功能的付费版本，通过付费用户来获取收入。
数据销售模式：将收集到的数据进行分析和加工，然后出售给其他组织或个人。
交易平台模式：建立在线平台，连接买家和卖家，通过交易佣金或手续费来获取收入。
改变企业模式
开放创新模式：与外部合作伙伴、社区和创新生态系统合作，共同开发和推广新的产品或服务。
平台模式：构建平台和生态系统，引入多方参与，促进创新和价值共创。
网络化模式：通过网络和数字技术，实现组织内外的协作和信息共享，提高效率和灵活性。
社会企业模式：将社会和环境责任融入商业模式，追求社会价值和可持续发展。
双边市场模式：建立双边市场，同时吸引供应商和消费者，通过平衡双方的需求来实现价值创造。
改变产业模式
平台化模式：通过构建平台和生态系统，整合产业链上下游的参与者，实现协同创新和价值共创。
共享经济模式：通过共享资源和服务，提高资源利用效率，满足用户的需求。
自助服务模式：利用自动化和数字化技术，提供自助服务和自助交互的方式，降低成本和提高效率。
生态系统模式：构建产业生态系统，整合不同企业和组织，实现资源共享和协同发展。
智能化模式：应用人工智能、物联网等技术，提供智能化产品和服务，改变产业的商业逻辑和运作方式。
改变技术模式
平台技术模式：构建开放的技术平台，吸引开发者和合作伙伴，实现技术的共享和创新。
云计算模式：将计算和存储资源提供为云服务，以弹性和按需方式满足用户需求。
边缘计算模式：将计算和数据处理推向网络边缘，提高响应速度和数据隐私性。
区块链模式：利用区块链技术，实现去中心化和可信的交易记录和合约执行。
AI驱动模式：将人工智能技术应用于产品或服务中，提供智能化功能和个性化体验。
维度
战略定位创新
关注的是企业在市场中的位置和角色
方法
目标市场转移：将目标市场从传统市场转移到新兴市场或不同的细分市场。
差异化定位：通过提供独特的产品、服务或体验，从竞争对手中脱颖而出。
品牌创新：重新定义品牌形象和价值主张，以吸引新的受众和市场。
资源能力创新
侧重于企业的内部资源和能力
方法
技术创新：开发和应用新的技术，以改进产品、服务或业务流程。
人才发展：培养和吸引具有新技能和知识的人才，以支持创新和业务增长。
合作伙伴关系：与外部合作伙伴合作，共享资源和能力，实现互补优势。
商业生态环境创新
关注的是企业与外部环境的关系和互动
方法
开放创新：与外部合作伙伴、创业公司和社区合作，共同开发新的产品或服务。
生态系统建设：构建平台和生态系统，吸引多方参与者，实现价值共创和共享。
社会责任：将社会和环境责任纳入商业模式，追求可持续发展和共享价值。
混合商业模式创新
涉及到不同商业模式的结合和整合
方法
平台化模式：构建平台和生态系统，整合多个商业模式，促进多方合作和创新。
垂直整合：在价值链上下游整合不同的商业活动，实现更高的控制和效率。
多元化扩展：将现有产品或服务扩展到新的市场或行业，以实现增长和多样化。
民生大数据
1. 智慧医疗：
智慧医疗利用信息技术和大数据分析来改进医疗服务和健康管理。它可以包括电子健康记录、远程医疗、医疗数据分析等。智慧医疗的目标是提高医疗效率、提供个性化的医疗服务、改善医疗质量和患者体验。
2. 智慧交通：
智慧交通利用信息和通信技术来优化交通系统的运行和管理。它可以包括交通数据采集、智能交通信号控制、交通流预测、智能交通管理系统等。智慧交通的目标是提高交通效率、减少交通拥堵和事故，并提供更便捷、安全和环保的出行方式。
3. 智慧旅游：
智慧旅游利用信息技术和大数据分析来提供更智能化和个性化的旅游服务。它可以包括旅游信息平台、智能导览系统、旅游数据分析等。智慧旅游的目标是提供更好的旅游体验、提高旅游资源的利用效率，并促进旅游业的可持续发展。
4. 智能物流：
智能物流利用物联网、大数据和人工智能等技术来优化物流供应链的管理和运作。它可以包括智能仓储、智能运输、智能配送等。智能物流的目标是提高物流效率、降低成本、提升物流服务质量，并满足快速变化的市场需求。
5. 食品安全
食品安全关注食品的质量和安全问题，涉及到食品生产、加工、运输和销售等环节。利用大数据分析和物联网技术，可以实时监测食品的来源、质量和安全情况，提高食品追溯能力，防止食品安全事件的发生，保障消费者的健康和权益
6. 教育大数据
教育大数据利用大数据分析技术来研究和改善教育领域的教学、学习和管理。通过收集和分析学生的学习数据、教师的教学数据等，可以了解学生的学习情况和需求，优化教学方法和资源配置，提供个性化的学习支持和指导。
工业大数据
智能装备
智能装备是指通过集成传感器、控制系统和数据分析等技术，使传统的工业设备具备感知、分析和决策能力
智能装备可以实时监测设备状态、预测故障、优化运行参数，并支持自动化和智能化的生产过程
智能工厂
智能工厂是利用先进的信息技术和自动化技术来实现生产过程的智能化和自动化
智能工厂通过集成各种智能装备、物联网、大数据分析等技术，实现生产过程的优化、灵活性和可持续发展
智能服务
智能服务是指通过运用先进的技术和数据分析，为客户提供个性化、智能化的服务
在工业领域，智能服务可以包括预测性维护、远程监控、故障诊断等
政务大数据
舆情分析
指对社会舆论和公众情绪进行系统收集、分析和评估的过程。政府可以通过舆情分析来了解公众对政府政策、事件和服务的态度和反馈
精细化管理与服务
指通过利用政务大数据和先进技术，对城市和社会进行更精细、个性化的管理和服务
应急预案处置
指在突发事件和灾害发生时，政府根据预先制定的应急预案，进行快速、有效的响应和处置
安全大数据
网络信息安全
是指保护网络和信息系统免受未经授权的访问、破坏、泄露和篡改的安全措施。网络信息安全涉及到网络架构、数据加密、访问控制、漏洞管理、威胁检测等方面
自然灾害预警
指通过收集、分析和解释各种相关数据，提前发现和预测自然灾害的发生和发展趋势，以便采取相应的防范和应对措施
大数据的未来
数据市场的兴起
Infohimps
Factual
Windows Azure Marketplace
Public Data Sets on AWS
将原创数据变成增值数据
消费者的隐私保护