发生这种情况是因为您使用的是python 3.8。 pyspark的最新pip版本不支持python 3.8。现在降级到python 3.7，应该没问题。

它的python和pyspark版本不匹配，就像约翰正确指出的那样。 对于较新的python版本，您可以尝试

pip install --upgrade pyspark

这将更新软件包（如果有）。如果这样做没有帮助，那么您可能必须降级到python的兼容版本。

pyspark软件包文档明确指出：

注意：如果将它与Spark独立集群一起使用，则必须确保版本（包括次要版本）匹配，否则可能会遇到奇怪的错误。

作为一种肮脏的解决方法，可以使用_cell_set_template_code函数的文档字符串将_make_cell_set_template_code替换为仅Python3的实现suggested：

Notes
-----
In Python 3,we could use an easier function:

.. code-block:: python

   def f():
       cell = None

       def _stub(value):
           nonlocal cell
           cell = value

       return _stub

    _cell_set_template_code = f()

这是spark v2.4.5的补丁程序：https://gist.github.com/ei-grad/d311d0f34b60ebef96841a3a39103622

应用方式：

git apply <(curl https://gist.githubusercontent.com/ei-grad/d311d0f34b60ebef96841a3a39103622/raw)

这解决了./bin/pyspark的问题，但是./bin/spark-submit使用捆绑的pyspark.zip及其自己的cloudpickle.py副本。而且，如果将其固定在那里，那么它仍然将无法正常工作，并且在解开pyspark/serializers.py中的某些对象时会出现相同的错误。

但是似乎已经提供了火花3.8.0.0-preview2的Python 3.8支持，因此可以尝试一下。或者，按照公认的答案建议使用Python 3.7。

确保使用正确版本的 Java、Python 和 Spark。 由于过时的 Spark 版本 (Spark 2.4.7)，我遇到了同样的错误。

通过下载 Python 3.8 旁边的最新 Spark 3.0.1（作为 Anaconda3 2020.07 的一部分）和 Java JDK 8 为我解决了问题！

尝试使用以下命令安装与 python 3.8 兼容的最新版本的 pyinstaller ：

pip install https://github.com/pyinstaller/pyinstaller/archive/develop.tar.gz

参考：
https://github.com/pyinstaller/pyinstaller/issues/4265

感谢@John。我删除了3.8并安装了3.7.5。它工作正常。我不知道我认为macos似乎有错误。它可以在我的Windows OS中使用。