当前位置:首页>开发>正文

flink流计算与spark的区别

2023-05-05 10:45:00 互联网 未知 开发

flink流计算与spark的区别?

flink流计算与spark的区别

最大区别

flink是基于事件的真正的实时流式处理,Spark是批量或者微批处理

Flink 用流处理去模拟批处理的思想,比Spark 用批处理去模拟流处理的思想扩展性更好。


Flink最核心的数据结构是Stream,它代表一个运行在多分区上的并行流。

在 Stream 上同样可以进行各种转换操作(Transformation)。与 Spark 的 RDD 不同的是,Stream 代表一个数据流而不是静态数据的集合。所以,它包含的数据是随着时间增长而变化的。而且 Stream 上的转换操作都是逐条进行的,即每当有新的数据进来,整个流程都会被执行并更新结果。这样的基本处理模式决定了 Flink 会比 Spark Streaming 有更低的流处理延迟性。

最新文章