GCP数据流与云功能

我有一个现有系统,其中数据发布到Pub / Sub主题,由云功能订阅者读取,并推送到Big Query进行存储(订阅者CF中没有进行任何其他转换)。

使用pub / sub-BQ模板将订户CF更改为Dataflow流作业是个好主意吗? 使用它们的优点/缺点是什么?

zswalkflower 回答:GCP数据流与云功能

所有取决于您的用例和数据速率。

  • 如果将稀疏数据发布到PubSub主题,则Cloud Function可以很好地工作并且几乎不花费任何费用
  • 如果流量持续增长,您必须照顾好处理时间。一个简单的数据流将仅花费1vm up(基本vm,n1-standard-1)。 Cloud Functions小时价格比1vm up(n1-standard-1)贵。在并发消息的情况下,将产生多个实例,这会增加处理成本。

您还必须考虑到功能部署的简便性(在Dataflow的对面,您必须耗尽管道,停止它并重新启动它)和做更多事情(以及更长时期)的能力时间))(数据流的处理能力有限,每条消息的处理时间不能超过9分钟)。

根据您的项目角度,一种解决方案可能会更好。

另外,我还有第三个选择:Cloud Run。 Cloud Run几乎与功能更新和部署一样容易,处理持续时间稍长一点(每条消息15分钟),并且您可以在同一实例上处理多条消息,因此定价可能比使用Run有趣得多。由于这种分解作用。如果您有兴趣,请看看this article that I wrote

本文链接:https://www.f2er.com/3134158.html

大家都在问