在Spark中,我熟悉的三个集群(非本地)部署选项:
- 独立
- Mesos
- 纱线
可能会有更多的集群部署选项,但我对这三个选项感到担心。以上所有三个都支持客户端和集群部署模式。 客户端模式涉及从边缘计算机本身运行驱动程序,而集群模式涉及在集群内部的一个工作节点中启动驱动程序。
现在,在Flink方面,我仅具有1节点设置的经验,我从一些教程中学到了知识,而该教程并未真正详细介绍生态系统,而是将重点更多地放在代码上,而不是“也提供了一个广阔的前景”。因此,我正在查看deployment options in Flink以了解这一点。该文档讨论了这三个选项:独立,Mesos和YARN,但是在文档中尚不清楚是否支持(emerging)(客户端术语为或)。 >集群模式或两者或其他一些模式。
这个想法是用一个Flink替换一个Spark集群。在执行这些步骤时,我想了解这些步骤。这些步骤可在文档中找到。这些步骤的基本原理是隐含的(足以让我不理解)或不存在。
Apache Flink专家/贡献者的解释会有所帮助。