我有一个多维数据集,整个处理周期要花很长的时间(大约7小时)。 我有一个最小化此多维数据集处理时间的要求。为此,我必须处理最近两年的数据的多维数据集,但旧数据不应丢失。
同样,我创建了以下两个分区:
-
Data_2年:此处分区查询获取最近2年的数据
-
Data_Remaining:此处分区查询可提取2年之前的所有先前数据
如果我只处理分区Data_2年的多维数据集,我怀疑它会覆盖多维数据集的所有现有数据,并且只有最后2年的数据可以在多维数据集中浏览。
因此,我的问题是,即使最近2年的数据将被刷新(更新),但多维数据集也不应丢失未更新的较早的数据(
任何评论/提示/建议/帮助将不胜感激。
非常感谢,