我用 spectrum 运行了一些测试。

我创建了两个 AWS Glue crawler。

第一个名为 hive-tst 的扫描：

s3://hive-test/type='a'/year='2021'/month='01'
s3://hive-test/type='b'/year='2021'/month='01'
s3://hive-test/type='c'/year='2021'/month='01'
s3://hive-test/type='d'/year='2021'/month='01'
s3://hive-test/type='e'/year='2021'/month='01'

第二个扫描：

s3://non-hive-test/a/2021/01
s3://non-hive-test/b/2021/01
s3://non-hive-test/c/2021/01
s3://non-hive-test/d/2021/01
s3://non-hive-test/e/2021/01

每个bucket分区都有两个文件，两个文件都是parquet个50mb的文件。

然后我运行查询每个 spectrum 表的第一个分区的测试：

select distinct event from test.hive_tst; 

花了 8 秒 272

select distinct partition_0 from test.nonhive_tst; 

8s 66ms

所以添加 = 似乎并没有提高性能。 还检查了两个表在分区中是否具有 Hive 格式。

select *
from svv_external_partitions
where schemaname='test'
and tablename='hive_tst';

select *
from svv_external_partitions
where schemaname='test'
and tablename='nonhive_tst';

也许文件夹中的数据量不足以对其进行测试，但使用 svv_external_partitions 的所有内容、执行时间和分区格式似乎都相同。

那么问题来了：

AWS Spectrum 真的需要 = 在 s3 位置才能理解为 hive 格式吗？