您能告诉我如何正确结束pyspark脚本吗？
目前，我的脚本结束时只有spark.stop()。
这stop()是否足以杀死会话并释放用于创建的所有数据帧的内存？
我有多个脚本，每个脚本都会从拥有超过100亿条记录的大表中创建数据框。
我想确保当第一个脚本结束时，也会释放使用的内存以供下一个脚本使用。
我还应该做些其他事情来释放资源？我还应该清除缓存或类似内容吗？
脚本结束时使用了无Pyspark的资源和其他清理
•
问答
a3313985 回答：脚本结束时使用了无Pyspark的资源和其他清理
暂时没有好的解决方案，如果你有好的解决方案，请发邮件至：iooj@foxmail.com