我有一个ETL流程，数据来自json，由nifi在avro中提取。每周执行一次Athena查询，以将这些数据合并为历史记录，以查看所有数据的视图，并在两个表之间进行合并。 看起来不错，首先运行。
第二周要添加到创建的实木复合地板文件中，我同时使用CTAS查询两个位置，并生成一个新的历史实木复合地板来替换以前的实木复合地板。
问题是如何处理？这种方式似乎是错误的。我不想扫描成千上万个文件，但是都不想重新创建所有文件。也许雅典娜会插入新分区？
我有一个ETL流程，数据来自json，由nifi在avro中提取。每周执行一次Athena查询，以将这些数据合并为历史记录，以查看所有数据的视图，并在两个表之间进行合并。 看起来不错，首先运行。
第二周要添加到创建的实木复合地板文件中，我同时使用CTAS查询两个位置，并生成一个新的历史实木复合地板来替换以前的实木复合地板。
问题是如何处理？这种方式似乎是错误的。我不想扫描成千上万个文件，但是都不想重新创建所有文件。也许雅典娜会插入新分区？