spark每秒从kafka读取多少条数据 如何在spark中取出kafka队列的数据

spark每秒从kafka读取多少条数据

前面应该还有个数据生产者，比如flume. flume负责生产数据，发送至kafka。 spark streaming作为消费者，实时的从kafka中获取数据进行计算。 计算结果保存至redis，供实时推荐使用。 flume kafka spark redis是实时数据收集与计算的一套经典架构...

如何在spark中取出kafka队列的数据

spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件： 1.数据输入需要可靠的sources和可靠的receivers 2.应用metadata必须通过应用driver checkpoint 3.WAL（write ahead log）