Python findSpark和PySpark无法正常工作。显示IndexError:列表索引超出范围

我通过以下两种方法安装了findspark和PySpark。我正在使用Python 3.6,java jdk 11.0。我确实在.bashrc文件中添加了以下两行代码:

b

我已经安装了Jupyter Notebook,可以正常运行,但是当我尝试使用findspark时会发生这种情况。

package.json

有人能指出我正确的方向吗?我想念什么?我正在尝试在Linux Mint中安装它。谢谢!

bajo42 回答:Python findSpark和PySpark无法正常工作。显示IndexError:列表索引超出范围

我认为Spark 2.4.x还不支持JDK 11。我可以找到一个AppsFlyer来添加Java 11支持,但它仍处于打开状态。因此,我建议您暂时使用JDK 8。

除此之外,您还需要另外两件事。

  1. 需要将$SPARK_HOME/bin添加到PATH
  2. 需要添加pyspark驱动程序选项以将jupyter与pyspark链接。

您可以尝试在bashrc中添加以下内容吗?

export SPARK_HOME=/home/jbustost/spark-2.4.4-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:/home/jbustost/.local/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

您需要执行source ~/.bashrc才能使更改生效。

本文链接:https://www.f2er.com/2800749.html

大家都在问