我了解您是从一个SparkConf对象创建一个SparkSession的,但这是否意味着SparkSession.conf与SparkConf()相同?
wanganqideming 回答:SparkSession.conf和SparkConf有什么区别?
是,如果(SparkSession.builder.config(conf=SparkConf())
)使用SparkConf对象创建SparkSessioin
您可以从PySpark源代码中确认这一点
这是SparkSession.conf的代码,该代码返回self._conf
,如果您对此进行跟踪,则可以看到它是通过getOrCreate
方法link设置或创建的。>
在getOrCreate
方法中,您可以观察到SparkConf设置了在SparkSession创建时传递的选项。
您可以进一步检查self._options
是否在config
方法link中设置了值,在我们的示例中,该值传递了SparkConf对象的(键,值)