我正在尝试使用pyspark选项（内联）运行Jupyter Lab，如下所示。

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444" $SPARK_HOME/bin/pyspark

此方法受official documentation启发。但是，执行命令时，notebooks会提供/root目录，并且端口仍为8888。

我还将执行文件包装为follows的.sh（shell）文件中。

#!/bin/bash

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.notebook_dir='/' --NotebookApp.port=4444"

pyspark "$@"

但是这种尝试覆盖笔记本目录和端口的尝试也不起作用。我已检查以确保/root/.jupyter/jupyter_notebook_config.py不存在。

这里有什么问题的想法吗？