SparkSession.conf和SparkConf有什么区别?

我了解您是从一个SparkConf对象创建一个SparkSession的,但这是否意味着SparkSession.conf与SparkConf()相同?

wanganqideming 回答:SparkSession.conf和SparkConf有什么区别?

如果SparkSession.builder.config(conf=SparkConf()))使用SparkConf对象创建SparkSessioin

您可以从PySpark源代码中确认这一点

这是SparkSession.conf的代码,该代码返回self._conf,如果您对此进行跟踪,则可以看到它是通过getOrCreate方法link设置或创建的。>

getOrCreate方法中,您可以观察到SparkConf设置了在SparkSession创建时传递的选项。

enter image description here

您可以进一步检查self._options是否在config方法link中设置了值,在我们的示例中,该值传递了SparkConf对象的(键,值)

enter image description here

本文链接:https://www.f2er.com/3127561.html

大家都在问