HDFS

这是一篇关于HDFS的思维导图，主要内容有名称、原理及作用、数据、可用性、性能:网络宽带、读写特点等。

HDFS

• 名称
  • Hadoop Distributed File System (Hadoop分布式文件系统)
• 原理及作用
  • 将大文件采用分布式的方式存储在硬盘上
• 数据
  • 元数据
    • 命名空间及文件属性
    • 文件与Chunk的映射
    • Chunk的位置信息
  • 内存中的数据
  • Chunk的位置信息
  • 操作日志
• 可用性
  • 应用程序API
  • 文件系统shell
  • C/D或C/N通讯协议
• 性能:网络宽带
  • 移动计算
  • 集群均衡
  • 复制策略:缓存、Stagging
• 读写特点
  • 流式数据访问
  • 大规模数据集
• 过程:数据量和控制流
  • 写入
  • 读取
  • 检测和复制
  • 删除
• 硬件错误
  • 元数据持续化
  • 心跳监测
    • Node级别
    • 硬盘级别
  • 数据块完整性