Kettle资源库调优知识点学习笔记

Kettle资源库调优知识点学习笔记，Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 ；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分

Kettle资源库调优知识点学习笔记

• Kettle概述
  • ETL工具
  • 核心知识点
    • 工程存储方式
      • 以XML形式存储
      • 以资源库方式存储(数据库资源库和文件资源库）
    • 两种设计
      • Transformation
        • 定义：完成针对数据的基础转换
        • 流程：数据输入-处理逻辑-输出
      • Job
        • 定义：完成整个工作流的控制
        • 流程：start-转换-作业流-成功
      • 区别
        • 作业是步骤流，转换是数据流
        • 作业是线性执行，而转换是将控件全启动，再执行
    • Kettle的组成
      • 勺子（Spoon.bat/Spoon.sh)图形化界面
      • 煎锅（Pan.bat/Pan.sh)命令形式调用Trans
      • 厨房（Kitchcn.bat/Kitchen.sh）命令形式调用Job
      • 菜单Carte.bat/Carte.sh
        • 轻量级Web容器，用于建立专用、远程的ETL Server
  • 特点
    • 开源
    • 易配置
    • 不同数据库
    • 两种脚本文件
      • transformation
      • job
    • 图形化界面
    • 定时
• Kettle案例
  • 转换示例
    • 同步不同的表
      • 建表
        • create database kettle;
        • use kettle;
        • create table stu1(id int,name varchar(20),age int);
        • create table stu2(id int,name varchar(20));
        • insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);
        • insert into stu2 values(1001,'wukong');
      • 新建转换
      • 运行
  • 作业示例
  • Hive表输出到hdfs
    • 配置
      • 修改data-integration/plugins/pentaho-big-data-plugin/plugin.properties
        • active.hadoop.configuration=hdp26
      • 添加文件到hdp26
        • core-site.xml
        • hdfs-site.xml
        • yarn-site.xml
        • mapred-site.xml
        • hive-site.xml
        • hbase-site.xml
    • 启动hadoop、zookeeper、hbase、及hiveserver2
      • /opt/module/hadoop-2.7.2/sbin/start-all.sh
      • /opt/module/zookeeper-3.4.10/bin/zkServer.sh start
      • /opt/module/hbase-1.3.1/bin/start-hbase.sh
      • /opt/module/hive/bin/hiveserver2
      • /opt/module/hive/bin/beeline
        • !connect jdbc:hive2://hadoop102:10000
    • 数据库操作
      • 建表
        • CREATE TABLE dept(deptno int, dname string,loc string)
        • ROW FORMAT DELIMITED
        • FIELDS TERMINATED BY '\t';
        • CREATE TABLE emp(
        • empno int,
        • ename string,
        • job string,
        • mgr int,
        • hiredate string,
        • sal double,
        • comm int,
        • deptno int)
        • ROW FORMAT DELIMITED
        • FIELDS TERMINATED BY '\t';
      • 插入数据
        • insert into dept values(10,'accounting','NEW YORK'),(20,'RESEARCH','DALLAS'),(30,'SALES','CHICAGO'),(40,'OPERATIONS','BOSTON');
        • insert into emp values
        • (7369,'SMITH','CLERK',7902,'1980-12-17',800,NULL,20),
        • (7499,'ALLEN','SALESMAN',7698,'1980-12-17',1600,300,30),
        • (7521,'WARD','SALESMAN',7698,'1980-12-17',1250,500,30),
        • (7566,'JONES','MANAGER',7839,'1980-12-17',2975,NULL,20);
    • 流程图建立
  • 读取hdfs文件并将sal大于1000的数据输出到hbase中
    • HBase中建表
    • 建立流程图
    • 若出现权限问题
      • 在spoon.bat/spoon.sh中添加
        • "-DHADOOP_USER_NAME=atguigu" "-Dfile.encoding=UTF-8"
• Kettle资源库
  • 数据库资源库
    • 定义
      • 数据库资源库是将作业和转换相关的信息存储在数据库中，执行的时候直接去数据库读取信息，很容易跨平台使用
  • 文件资源库
    • 定义
      • 将作业和转换相关的信息存储在指定的目录中，其实和XML的方式一样
      • 创建方式跟创建数据库资源库步骤类似，只是不需要用户密码就可以访问
      • 跨平台使用比较麻烦
• Kettle集群使用
  • 原理
    • 是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果
    • Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完毕后把结果交给mater 进行汇总，再由mster返回结果
  • 特点
    • 优点
      • 多服务器运行，加快处理速度，对于大数据量的操作更明显
      • 防单点失败，一台服务器故障后其它服务器还可以运行
    • 缺点
      • 采用主从结构，不具备自动切换主从的功能。所以一旦主节点宕机，整个系统不可用
      • 对网络要求高，节点之间需要不断的传输数据
      • 需要更多的服务器，而且主节点没有处理能力
  • 适用场景
    • 需求kettle能时刻保持正常运行的场景
    • 大批量处理数据的场景
• Kettle调优
  • 参数调优
    • spoon.sh
      • -Xmx2048m
        • 最大堆内存
      • -Xms1024m
        • 最小堆内存，可以与Xmx相同
      • -Xmn2g
        • 年轻代大小，推荐配置为整个堆的3/8
      • -Xss128k
        • 设置每个线程的堆栈大小，降低能生成更多线程
  • 调整提交记录数大小
    • Kettle默认Commit数量为：1000