如何为Zeppelin笔记本电脑(PySpark / Glue)正确设置作业参数

我希望能够像通常在粘合作业中一样从sys.argv中检索值,例如:

args = getResolvedOptions(sys.argv,['key','ranking_table','input_bucket','output_bucket'])

通常我可以通过AWS控制台运行它,但是它必须处理启动ec2实例的10分钟冷启动。当我使用齐柏林飞艇时,我可以绕开这个问题,但是我失去了添加作业参数的选项,并且我希望测试代码尽可能与实际代码匹配。如果可能,我将在哪里设置参数,无论是可以输入的实际设置还是在运行时以编程方式设置它?谢谢

lalala20075149 回答:如何为Zeppelin笔记本电脑(PySpark / Glue)正确设置作业参数

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3107876.html

大家都在问