Redshift Spectrum比Athena慢得多?

我们的数据作为JSON存储在S3中,没有分区。直到今天,我们仅使用雅典娜,但现在我们尝试了Redshift Spectrum。

我们两次运行相同的查询。 一次使用Redshift Spectrum,一次使用Athena。两者都连接到S3中的相同数据。

使用Redshift Spectrum,此报告将永久(超过15分钟)运行,而使用Athena只需10秒。

我们在两种情况下都在aws控制台中运行的查询是:

SELECT "events"."persistentid" AS "persistentid",SUM(1) AS "sum_number_of_reco"
FROM "analytics"."events" "events"
GROUP BY "events"."persistentid"

知道发生了什么吗? 谢谢

zz315274061 回答:Redshift Spectrum比Athena慢得多?

Redshift Spectrum的处理能力受Redshift群集大小的限制。

您可以从Improving Amazon Redshift Spectrum Query Performance

中找到信息
  

Amazon Redshift查询计划程序推送谓词和聚合   尽可能移至Redshift Spectrum查询层。大时   从Amazon S3返回的大量数据,处理受到限制   根据集群的资源。 Redshift Spectrum自动缩放至   处理大量请求。因此,您的整体表现会提高   只要您可以将处理推送到Redshift Spectrum层。

另一方面,Athena为查询使用优化的资源量,该资源量可能比小型Redshift集群的“频谱”要大。

这已通过我们对具有不同Redshift集群大小的Redshift Spectrum性能的测试得到证实。

本文链接:https://www.f2er.com/3021660.html

大家都在问