https://i.ancii.com/yidan7063/
文报 yidan7063
Ta还没有发布动态 ...
Savepoint 是检查点的一种特殊实现，底层实现其实也是使用 Checkpoint 的机制。Savepoint 是用户以手工命令的方式触发 Checkpoint，并将结果持久化到指定的存储路径。现从端到端的 Exactly-Once 语义保证。可以不用
如上图sum_even （2+4），sum_odd，5这个数据之前的都处理完了，就出保存一个checkpoint；Source任务保存状态5，sum_event任务保存状态6，sum_odd保存状态是9；这三个保存到状态后端中就构成了CheckPoint；
JobManagers 协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。每个 Job 至少会有一个 JobManager。高可用部署下会有多个 JobManagers，其中一个作为 leader，其余处于 standby 状
提高资源利用率是最终目的。大窗口 窗口size大、数据量大，或者滑动窗口size和step比值比较大如size=5min，step=1s
1.代码。方式二：Kafka到Kafka. 1.代码
0 关注 0 粉丝 0 动态
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
