Spark在Mesos之上运行-集群模式-AWS实例EC2(1个主设备1个从设备)


我面临问题,我正在尝试部署一个试用版Spark应用(wordcount,用Java编写) 我会在mesos集群(1个主服务器,1个代理从服务器)的顶部运行spark
任务失败,似乎主服务器无法连接到mesos错误消息下方的端口5051上的mesos代理
Mesos和Spark驱动程序显示任务正在运行,但任务无法完成 在奴隶日志中,我在下面显示消息

20/03/24 16:44:57 INFO TaskSchedulerImpl:使用1个任务添加任务集0.0 20/03/24 16:45:12 WARN TaskSchedulerImpl:初始作业未接受任何资源;正在运行。检查您的群集用户界面,以确保工作人员已注册并拥有足够的资源

实例为EC2 AWS机器类型:主服务器,从服务器 mesos版本:1.4.1和spark版本是2.4.4 谢谢你的帮助 让我知道您是否需要更多详细信息
mesos代理-与主站错误消息连接:

Spark在Mesos之上运行-集群模式-AWS实例EC2(1个主设备1个从设备)

dhtz_123 回答:Spark在Mesos之上运行-集群模式-AWS实例EC2(1个主设备1个从设备)

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/2588409.html

大家都在问