Flink

flink 学习路线图，帮助我们快速建立属于自己的flink 只是体系 导图中有大量代码和链接

Flink

• 窗口
  • 窗口组成
    • 窗口类型
      • 滚动窗口 Tumbling
        • 滚动窗口可以看成一种特殊的滑动窗口，滑动大小等于窗口大小
        • 时间窗口
          • Event Time
          • Processing Time
        • 计数窗口
      • 滑动窗口 Sliding
        • 时间窗口
          • Event Time
          • Processing Time
        • 计数窗口
      • 会话窗口
        • 按照时间间隔划分的，有超时的
    • 触发器
      • EventTimeTrigger
      • ContinusEventTimeTrigger
      • ProcessingTimeTrigger
      • ContinusProcessTimeTrigger
      • CountTrigger
      • DeltaTrigger
    • 窗口函数
      • 在没有触发器的情况下，不论是增量还是全量，都得等到窗口结束才能进行结果输出
      • 增量函数
        • ReduceFunction
        • AggregateFunction
          • 两种API 1. 基本API 2. 快捷API 如 max sum  
          • sum
          • min
          • minBy
          • max
          • maxBy
      • 全量函数
        • ProcessWindowFunction
          • 排序
          • 缓存输出
            • 减少对外部系统的压力
      • 增量和全量结合
        • 因为增量输出是不包含窗口元数据的，虽然这个时候全量可以做到增量的功能，并且输出窗口的元数据 但是全量性能不好，所以我们会使用增量和全量混合的方式，达到计算和元数据共同获取的目的
    • 驱逐器
    • 窗口分配器WindowAssigner
      •  其实就是传给与window 方法的参数 
      • 滑动窗口
      • 滚动窗口
      • 会话窗口
      • 全局窗口
  • API
    • windowAPI
      • window
        • 必须在keyby 之后操作
        • SlidingEventTimeWindows
        • SlidingProcessingTimeWindows
        • 子主题
        • 子主题
      • timeWindow
        • 可以认为是window 的一个快捷写法
      • countWindow
        • 可以认为是window 的一个快捷写法
      • windowall
        • 
    • 其他
      • 延迟
      • 侧输出
      • trigger
      • evitor
  • 问题
    • 数据倾斜
    • 热点问题
    • 数据延迟
      • allowedLateness()
      • sideOutputTag
• 容错
  • savepoint
  • checkpoint
  • state
    • valuestate
    • mapstate
    • liststate
    • AppendingState
      • MergingState
        • ReducingState
          • 增量窗口聚合函数
        • AggregatingState
          • 增量窗口聚合函数
        • liststate
• 流的操作
  • transform
    • split 优点类似打标签的感觉
      • 传感器数据分流异常数据
      • kakfa 的各个业务线的数据，分流出来自己需要的——日志分流
    • connect
      • 外卖行业，一个订单包含了订单付款信息和派送信息。 互联网广告行业，一次点击包含了用户的点击行为日志和计费日志。 一个订单包含了订单主体信息和商品的信息。
      • connect 实现双流 join
    • cogroup
      • inner join
      • left join
      • right join
    • join
    • broadcast
    • 窗口
      • 写出缓存
      • 聚合计算
  • 对象
    • Enviorment
      • 配置
        • checkpoint配置
        • 时间模型
          • ProcessTime
          • EventTime
        • 重启策略配置
      • 类别
        • Remote
        • Local
    • RuntimeContext
      • getIndexOfThisSubtask
        • 分区
      • getMetricGroup
      • getState