-
Spark独立版vs纱线
<em>对于仅运行Spark应用程序的多租户集群,YARN的哪些功能使其比Spark Standalone模式更好?</em>也许除了身 -
Spark:从站无法连接到主站
我正在尝试在我的组织网络中的2台计算机上设置独立的Spark集群。两者都是配置相同的ubuntu 16.04机器。</ -
使用`spark-submit`在单节点独立Spark集群中启动作业
我有一个配置有单个工作程序的单节点Spark集群(4个cpu内核和15GB内存)。我可以访问Web UI并查看工作节 -
如何从Windows上的R启动Spark集群的主节点?
<a href="https://therinspark.com/clusters.html#clusters-standalone" rel="nofollow noreferrer">Chapter 6: "Clusters"</a>摘自《 -
由于火花流应用程序执行程序,工作程序节点空间不足,因此具有jar文件
我的Spark Streaming应用程序以独立模式运行,已经完成的执行程序仍然保存jar文件。 几天后,由于 -
在独立模式下在主节点上启动多个工作线程
我有一台80核的机器。我想在这台机器上以8个执行器(每个执行器具有10个内核)的独立模式启动Spark服 -
Spark Standalone如何将本地.jar文件传递到集群
我有两个工人和一个主人的集群。 要启动管理员和工作人员,我使用管理员计算机上的<code>var body: some V -
成功创建Spark上下文后,Livy会话停留在开始状态
我一直在尝试使用可在Ubuntu 18.04上运行的Livy 0.7服务器创建一个新的Spark会话。 在同一台机器上,我有一 -
SparkLauncher独立集群模式
使用Java API,我可以提交,getStatus并杀死通过“客户端”模式通过Spark Launcher提交的Spark应用程序。 Spark L -
如何在PySpark独立集群的并行RDD上部署机器学习模型?
我想知道如何使用jupyter笔记本在Pyspark独立集群的并行RDD上部署ml模型。如果我们直接部署ml模型,它会 -
Spark无法在master上启动org.apache.spark.deploy.worker.worker
我在两台Ubuntu服务器(主服务器和一台从服务器)上设置了Spark Standalone Cluster。 我有如下配置/conf/spark-e -
将spark.jars附加到工人类路径
我的用例非常简单,我想重写Hadoop发行版中的一些类,为此,我创建了一个新的jar,并使用spark.jars属性 -
SPARK_WORKER_MEMORY与JVM堆大小如何相关?
我正在容器内以独立模式运行Spark。我可以设置SPARK_WORKER_MEMORY,也可以设置jvm堆大小,但是我应该如何 -
SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES之间的区别?
在使用独立群集管理器时如何将内核数配置为SPARK_WORKER_CORES和SPARK_EXECUTOR_CORES。 -
Spark独立安全性
我试图了解如何限制用户以独立方式在共享机密方法之外提交Spark应用程序。 我可以在Spark Standalone -
为什么 Spark Master 没有调用 ZooKeeper LeaderElection Agent?
我的系统上部署了 2 个 spark master 和 3 个 zookeeper,分别位于不同的虚拟机上。服务按以下顺序上线: -
使用 externalShuffle 服务在 Spark 中进行随机文件清理
我们使用具有动态分配和外部 shuffle 服务的 Spark 3.0.1(独立模式)。 在切换到专用永久性磁盘后, -
Spark 独立集群模式下读取的数据不正确
我已经设置了 Spark 独立模式,有 1 个 master 和 2 个 worker。我使用 spark-submit 启动了 spark 应用程序(java ja -
独立运行的 UDF 引发错误
我正在运行我的 spark 程序,它在本地工作但不是远程工作。 我的程序有这些组件(容器): <ul> <li> -
更改独立运行的苏打水的流目录
我正在尝试更改在独立集群模式下运行的苏打水的流目录。 我尝试了以下选项,但它没有对此提出任何 -
Spark 应用程序在客户端模式下工作,但不在集群模式下工作
我正在尝试向我的独立 <code>spark-2.4.5-bin-hadoop2.7</code> 集群提交一个简单的 Spark 应用程序。我使用 docker-c -
如何在独立的 Spark 集群中恢复死去的工人
我有一个独立的 Spark 集群,由一个主节点和两个工作节点组成,每个工作节点有 4 个内核和 4 GB 内存。 -
运行 pyspark shell 或从 jupyter notebook 时出错
我正在尝试运行 pyspark shell,但在执行时: <pre><code>(test3.8python) [test@JupyterHub ~]$ python3 /home/test/spark3.1. -
spark 作业使用 local[*] 成功运行,但在使用 docker 映像时失败 - bitnami/spark 在独立模式
我正在尝试运行 Spark 流文档中提到的简单字数统计示例。当我放置 conf.setMaster("local[*]") 时,java 应用程 -
无法使用独立集群运行 Spark 作业
TL;博士: 如何在独立集群中提交 Spark 作业时修复 <code>java.lang.IllegalStateException: Cannot find any build dir -
无法在独立的火花集群中运行火花提交
我正在使用以下 docker-compose 映像来构建 Spark 独立集群: <pre><code>--- # ----------------------------------------- -
无法使用独立的 Spark 集群在 jupyter 上执行 pyspark 客户端
使用以下命令为 apache spark 运行独立模式集群后: <pre><code>node 1 (192.168.1.10): ./sbin/start-master.sh -h 192. -
无法在独立模式下运行 Spark 程序(客户端和集群模式中的错误) client 模式的输出:cluster 模式的输出:
我有一个 Ubuntu 服务器,我在其中运行了一个主服务器和一个从服务器(一个执行程序),它们显示在 80 -
所有应用程序都停留在独立 Spark 集群上的等待状态
Spark 独立集群配置(Spark 3.0.0)- <ul> <li>1 位大师</li> <li>2 个工人(每个 4 个核心)</li> </ul> 我正在