我想将0到99转换为RDD。
rd1 = range(1,100)
test = sc.parallelize(rd1)
当我使用collect（）函数时...
print(test.collect())
...我收到以下错误消息：
PicklingError: Could not pickle object as excessively deep recursion required.
根据this纪录片，它应该可以工作。你能告诉我我在做什么错吗？
非常感谢您。
Spark RDD：在range（）对象上使用collect（）
•
问答
gyz111427 回答：Spark RDD：在range（）对象上使用collect（）
如果其他人有同样的问题。我可以通过仅选择要执行的行来解决它。
我认为其他并行运行的脚本会导致错误。