检查点是Flink为流计算过程提供的容错和故障恢复机制。当程序出错时，Flink会重启受到影响的那部分算子及计算逻辑，并将它们重置到最后一次成功checkpoint时的状态。每次成功的checkpoint产生的“状态数据”其实就是这个流式计算任务在那一时刻

拿到表名后就能使用KuduClient对象对其操作了

在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造。为了最大限度降低代码复杂度，提高执行效率，

比如：一台 8核 16线程的pc ，默认的并行度就是16，我们同样在程序内可以设置重写并行度，重写方式同集群模式

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。Apache Fli

Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。我们可以选择Flink与Scala结合版本，这里我们

Watermark 的概念应运而生。Watermark 试图将更加精确的时间参考引入流式计算，并取得了越来越多的流式平台的支持。Pravega 也不例外，在最近的版本更新中，Pravega 已经加入了 Watermark 的完整支持。由于 Pravega

由于用户营销不够细化，企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验，甚至引发了用户流失。友信金服用户画像项目正是以此为背景成立，旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿，接入上百种合规数据

在Flink架构体系中，有状态计算可以说是Flink非常重要的特征之一。有状态计算是指在程序计算过程中，在Flink程序内部，存储计算产生的中间结果，并提供给Functions 或 孙子计算结果使用。和状态计算不同的是，无状态计算不会存储计算过程中产生的结

#用于网络缓冲区的JVM内存的分数。这决定了TaskManager可以同时具有多少个流数据交换通道以及通道的缓冲程度。

Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一，是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务，因此，对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和

Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一，是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务，因此，对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 J

默认情况下，checkpoint 不会被保留，取消程序时即会删除他们，但是可以通过配置保留定期检查点，根据配置 当作业失败或者取消的时候 ，不会自动清除这些保留的检查点 。同时为了 及时保存checkpoint状态 还需要在服务级别设置 checkpoin

本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容，主要包括实时计算框架和提供实时基础数据，以及机器学习平台的工作。他已经在大数据实时处理方向积累了丰富的工作经验。唯品

前面已经介绍了一系列的 flink 任务抽象、网络传输、可靠性机制等细节，有了这些铺垫，终于可以开心的介绍 flink 的任务调度机制了，也是不易^_^. 因为没有这些铺垫，就无法明白 flink 为什么要设计这样的一套调度机制！一个 TaskManage

王海涛，曾经在微软的 SQL Server和大数据平台组工作多年。带领团队建立了微软对内的 Spark 服务，主打 Spark Streaming。去年加入阿里实时计算部门，参与改进阿里基于 Apache Flink 的Blink 平台。凭借高性能和全面的

春节前一周，经过社区内部讨论，阿里巴巴大数据引擎 Blink 作为 Flink 的分支正式开源。如今，Apache Flink 官方网站发文对 Blink 贡献回 Flink 项目的意义作进一步说明，并公布了 Blink 和 Flink 的合并计划。经过一