如何比较两个火花流作业的性能?

我的工作是使用kafka主题中的数据并执行一些操作。区别在于序列化,一种使用Java序列化,另一种使用kryo序列化。如何比较这两个流作业,因为它们在相同的时间间隔内具有每秒不同的输入数量和不同的输入批处理大小?

xiaoover 回答:如何比较两个火花流作业的性能?

我要说的是,您需要计算处理单个输入所需的时间。

说您获得了1000条记录的批次。测量整个处理时间,然后除以1000。您得到了单个记录的处理时间。 收集多个批次的信息,然后比较结果。

本文链接:https://www.f2er.com/2979270.html

大家都在问