在Amazon Redshift中,使用S3存储桶作为数据源时,有一种创建分区键的方法。 Link.
我正在尝试使用SQL On-Demand服务在Azure Synapse中做类似的事情。
目前,我有一个存储帐户,该帐户已按以下方案进行了分区:
-Sales (folder)
- 2020-10-01 (folder)
- File 1
- File 2
- 2020-10-02 (folder)
- File 3
- File 4
要创建视图并提取所有4个文件,我运行了命令:
CREATE VIEW testview3 AS SELECT * FROM OPENrowset ( BULK 'Sales/*/*.csv',FORMAT = 'CSV',PARSER_VERSION = '2.0',DATA_SOURCE = 'AzureBlob',FIELDTERMINATOR = ',',FIRSTROW = 2 ) AS tv1;
如果我运行SELECT * FROM [myview]
的查询,我将从所有4个文件中接收数据。
我该如何创建分区键,以便可以运行查询,例如
SELECT * FROM [myview] WHERE folderdate > 2020-10-01
这样我只能分析文件3和4中的数据?
我知道我可以编辑OPENrowset BULK语句,但我希望能够首先从容器中获取所有数据,然后根据需要限制搜索。