Google Dataproc群集属性

我希望获得有关这些属性是用于整个群集\每个节点还是两者结合的更多详细信息。对于spark:spark.executor.instances
2
来说,这是整个集群还是特定节点的属性?

Google Dataproc群集属性

f123engyu 回答:Google Dataproc群集属性

正如dagang所说,应在集群的每个节点上对各种Dataproc属性进行相同的设置。您可以在与spark:/core:/distcp:/hdfs:/mapred:/yarn:对应的每个群集上归档的主要配置文件如下(除了其他文件以外,还包含其他可选组件):

/etc/spark/conf/spark-defaults.conf
/etc/hadoop/conf/core-site.xml
/etc/hadoop/conf/distcp-default.xml
/etc/hadoop/conf/hdfs-site.xml
/etc/hadoop/conf/mapred-site.xml
/etc/hadoop/conf/yarn-site.xml

其他文件可以在类似的目录中找到。

本文链接:https://www.f2er.com/3120741.html

大家都在问