多节点集群上的Flink与Spark部署模式

在Spark中,我熟悉的三个集群(非本地)部署选项:

  • 独立
  • Mesos
  • 纱线

可能会有更多的集群部署选项,但我对这三个选项感到担心。以上所有三个都支持客户端集群部署模式。 客户端模式涉及从边缘计算机本身运行驱动程序,而集群模式涉及在集群内部的一个工作节点中启动驱动程序。

现在,在Flink方面,我仅具有1节点设置的经验,我从一些教程中学到了知识,而该教程并未真正详细介绍生态系统,而是将重点更多地放在代码上,而不是“也提供了一个广阔的前景”。因此,我正在查看deployment options in Flink以了解这一点。该文档讨论了这三个选项:独立,Mesos和YARN,但是在文档中尚不清楚是否支持(emerging)(客户端术语为或)。 >集群模式两者其他一些模式

这个想法是用一个Flink替换一个Spark集群。在执行这些步骤时,我想了解这些步骤。这些步骤可在文档中找到。这些步骤的基本原理是隐含的(足以让我不理解)或不存在。

Apache Flink专家/贡献者的解释会有所帮助。

jamesrobin 回答:多节点集群上的Flink与Spark部署模式

Flink邮件列表上最近有一个关于此主题的讨论:

(主题名称: [DISCUSS]语义和按工作模式的实现

https://lists.apache.org/thread.html/6c688a73b281d38670a74f05d63f2858f59da1f37bc7211640de7ca8@%3Cuser.flink.apache.org%3E

当前,从flink CLI提交的所有作业都像Spark中的 client 模式一样。

具有类似集群模式的功能的选择加入选项将来可能会出现(就像在邮件列表中指出的那样),特别是由于Kubernetes集群中flink部署的数量迅速增加。

本文链接:https://www.f2er.com/3151859.html

大家都在问