Azkaban Job编程写作知识框架学习

Azkaban Job编程写作知识框架学习，包括Azkaban概述、Azkaban案例以及Azkaban Job写作说明三部分。

Azkaban Job编程写作知识框架学习

• Azkaban概述
  • 定义
    • 批量工作流任务调度器
    • 主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系
  • 架构
    • AzkabanWebServer
      • AzkabanWebServer是整个Azkaban工作流系统的主要管理者，它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务
    • AzkabanExecutorServer
      • 负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行
    • MySQL
      • 存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库
  • 特点
    • 兼容任何版本的hadoop
    • 易于使用的Web用户界面
    • 简单的工作流的上传
    • 方便设置任务之间的关系
    • 调度工作流
    • 模块化和可插拔的插件机制
    • 认证/授权(权限的工作)
    • 能够杀死并重新启动工作流
    • 有关失败和成功的电子邮件提醒
  • 工作流调度系统
    • 为什么
      • 一个完整的数据分析系统通常都是由大量任务单元组成
        • shell脚本程序，java程序，mapreduce程序、hive脚本等
      • 各任务单元之间存在时间先后及前后依赖关系
      • 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行
      • 图示
    • 分类
      • 简单的任务调度
        • crontab
      • 复杂的任务调度
        • oozie
        • azkaban
• Azkaban案例
  • 端口号:https://服务器IP地址:8443
  • 单一job案例
    • 创建job描述文件
      • vim first.job
        • #first.job
        • type=command
        • command=echo 'this is my first job'
    • 打包
      • 因为Azkaban只支持zip上传，文件后缀必须以job结尾
      • zip first.zip first.job
    • 在web管理平台上创建project并上传（UI操作）
      • 邮件通知配置
      • 执行
  • 多job工作流案例
    • 创建多个job描述文件
      • vim start.job
        • #start.job
        • type=command
        • command=touch /opt/module/kangkang.txt
      • vim step1.job
        • #step1.job
        • type=command
        • dependencies=start
        • command=echo "this is step1 job"
      • vim step2.job
        • #step2.job
        • type=command
        • dependencies=start
        • command=echo "this is step2 job"
      • vim finish.job
        • #finish.job
        • type=command
        • dependencies=step1,step2
        • command=echo "this is finish job"
    • 打包
      • zip jobs.zip start.job step1.job step2.job finish.job
    • 上传执行
  • java操作任务
    • 编写Java程序并打成jar包
    • 编写Job
      • #azkabanJava.job
      • type=javaprocess
      • java.class=com.atguigu.azkaban.AzkabanTest
      • classpath=/opt/module/azkaban/lib/*
    • 打包上传执行
  • HDFS操作任务
    • 创建job并压缩
      • #hdfs job
      • type=command
      • command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban
    • 上传文件并执行
  • mapreduce任务
    • 其实关键还是java，因为即便是MapReduce任务，它依赖于jar包
    • 编写job描述文件
      • #mapreduce job
      • type=command
      • command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output
    • 打包上传执行
  • HIVE脚本任务
    • 写Hive脚本
      • student.sql
        • use default;
        • drop table student;
        • create table student(id int, name string)
        • row format delimited fields terminated by '\t';
        • load data local inpath '/opt/module/datas/student.txt' into table student;
        • insert overwrite local directory '/opt/module/datas/student'
        • row format delimited fields terminated by '\t'
        • select * from student;
    • 写job描述文件
      • hive.job
        • #hive job
        • type=command
        • command=/opt/module/hive/bin/hive -f /opt/module/azkaban/jobs/student.sql
    • 打包上传执行
• Azkaban Job写作说明
  • #sample.job #开头写明是什么job，与文件名一致 type= Azkaban作业类型插件设计为开发人员提供了极大的灵活性，可以创建任何类型的作业执行程序，它们可以与基本上所有类型的系统一起工作 - 所有这些都由核心Azkaban工作流程管理管理和触发。
  • Azkaban jobtypes
    • https://azkaban.readthedocs.io/en/latest/jobTypes.html
    • command
    • hadoopShell
      • 安全
    • java
      • 调用run
    • javaprocess
      • 调用main
    • hadoopJava
      • 安全
    • pig
    • hive
    • 利用Java自写