Google Cloud Composer:核心关系:并行性,执行器开放插槽和任务执行速度

我需要澄清一下AirFlow核心的关系:并行性,执行器开放插槽及其对任务持续时间的影响。

根据我的实验,我注意到Executor开放插槽的数量与Google Cloud Composer气流配置设置的core:parallelism值成正比。 例如对于3节点的作曲器,默认并行度以及插槽数为30。 通过此配置,我在整个作曲家中添加了一个特定任务的单个DAG。 在一个任务期间,我平均读取了10个读数,总计15秒。

接下来,我将并行度降低到10,因此将空位也降低到10。 用相同的任务执行了相同的DAG。平均持续时间保持不变,即15秒。

我的问题: 默认配置为30。假设我的应用程序只需要执行上述DAG,而编写器上没有其他DAG,我想充分利用Composer的资源。 换句话说,我的期望是,在减少并行性方面,减少的插槽数将比以前具有更高的容量,因为作曲者的CPU RAM将被较少的插槽数占用。 但是实验表明,平均任务持续时间仍然保持不变。

请问有人可以说降低并行度是否会使单个任务运行得更快?

iCMS 回答:Google Cloud Composer:核心关系:并行性,执行器开放插槽和任务执行速度

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/1847340.html

大家都在问