Atlas架构原理集成框架总结

Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理。

Atlas架构原理集成框架总结

• 概述
  • Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理
• 架构原理
  • Apps
    • Ranger Tag Based Policies
      • 权限管理模块
    • Admin UI
      • 基于Web的应用程序，允许发现和注释元数据
    • Business Taxonomy
      • 业务分类
  • Metadata Sources
    • Hbase/Hive/Sqoop/Storm/Kafka
  • intergration
    • API
      • Atlas所有功能都通过REST API暴露
      • API允许创建，更新，删除类型和实体
      • 查询和发现Atlas管理的类型和实体的主要机制
    • Messaging
      • API外，仍可以选择使用基于Kafka的消息传递接口与Atlas集成
  • core
    • 采集/导出(Ingest/Export)：采集组件允许将元数据添加到Atlas，导出组件将Atlas检测到的元数据更改公开为事件
    • 类型系统(Type System)：用户为他们想要管理的元数据对象定义模型，即实体的类型实例，表示受管理的实际元数据对象
    • 图形引擎(Graph Engine)：Atlas在内部使用Graph模型持久保存它管理的元数据对象
    • JanusGraph，一个图数据库
      • 底层基于Metadata Store<Hbase>/Index Store<Solr>
  • 图示
• 集成框架
  • 集成外部的HBase与Solr，进行数据的存储
  • 集成Kafka
  • 集成Hive
    • HIve元数据导入Atlas