Impala优化知识、DML数据操作学习总结

Impala优化知识、DML数据操作学习总结，包括Impala的定义、优缺点、组成、运行原理，DML数据操作、存储和压缩等等。

Impala优化知识、DML数据操作学习总结

• 基本概念
  • Impala的定义
    • 提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能
    • 基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点
    • 是CDH平台首选的PB级大数据实时查询分析引擎
  • Impala的优缺点
    • 优点
      • 基于内存运算
      • 直接访问HDFS、HBase，无需转换为MapReduce
      • 使用支持数据本地化的IO机制，减少网络开销
      • 支持多种格式
      • 访问hive的metastore
    • 缺点
      • 对内存依赖大，完全依赖于Hive
      • 实践中分区数过多则性能严重下降
      • 只能读取文本文件，不能直接读取自定义二进制文件
      • 当新的记录/文件被添加到HDFS中时，需要被刷新
  • Impala的组成
    • Catalog
      • 把impala表的metadata信息分发到各个impalad
    • Statestore
      • 负责收集分布在集群中各个Impalad进程的资源信息、各节点的健康状况、同步节点信息
      • 负责query的协调调度
    • Impalad
      • 组成
        • Query Planner
        • Query Coordinator
        • Query Executor
      • 功能
        • 负责协调客户端提交的查询的执行
        • 与HDFS的DataNode运行在同一节点
        • 给其他的Impalad分配任务和汇总，也会执行其他Impalad分配的任务
    • Hive Metastore/HDFS
      • 存储元数据与数据地址
  • Impala的运行原理
    • 图示
    • 解释
      • 提交查询前，Impala创建负责协调客户端提交查询的Impalad进程，向Impala State Store提交注册订阅信息
      • State Store创建一个statestored进程，statestored进程通过创建多个线程来处理Impalad的注册订阅信息
      • 用户通过CLI客户端提交一个查询到impalad进程，Impalad的Query Planner对SQL语句进行解析，生成解析树
      • Planner将查询的解析树变成若干PlanFragment，发送到Query Coordinator
      • Coordinator通过从元数据库中获取元数据，从HDFS的名称节点中获取数据地址，得到这个查询相关数据的所有数据节点
      • Coordinator初始化相应impalad上的任务执行，将查询任务分配给所有存储查询相关数据的数据节点
      • Query Executor通过流式交换中间输出，并由Query Coordinator汇聚来自各个impalad的结果
      • Coordinator把汇总后的结果返回给CLI客户端
• DML数据操作
  • 数据导入与导出
    • Impala 不支持export和import命令
    • Impala不支持load data local inpath
    • Impala不支持insert overwrite导出数据
  • 查询
    • Impala不支持CLUSTER BY, DISTRIBUTE BY, SORT BY
    • Impala中不支持分桶表
    • Impala不支持COLLECT_SET(col)和explode（col）函数
    • Impala支持开窗函数
• 存储和压缩
  • Impala不支持ORC格式
• 优化
  • 尽量将StateStore和Catalog单独部署到同一节点
  • 通过对Impala Daemon内存限制（默认256M）及StateStore工作线程数，来提高Impala的执行效率
  • SQL优化，使用之前调用执行计划
  • 选择合适的文件格式存储，提高查询效率
  • 避免小文件问题
  • 使用合适的分区技术
  • 使用compute stats进行表信息收集
  • 网络io优化
    • 避免把整个数据发送到客户端
    • 尽可能的做条件过滤
    • 使用limit字句
    • 输出文件时，避免使用美化输出
    • 尽量少用全量元数据的刷新
  • 使用profile输出底层信息计划，在做相应环境优化