AWS Glue Crawler不追加数据

我创建了aws爬虫,该爬虫使用分类器将csv文件导入数据表。 哪个工作正常。

问题:每次搜寻器都会覆盖旧数据。我想保留以前的数据并添加csv文件的新内容。

即我已经上传了250条记录的csv文件。当我执行该搜寻器时,它会填充250行的表格。

现在,如果我将csv文件替换为其他内容,则它将覆盖旧的250行,并仅使用最新数据填充表。

任何人都可以帮助我如何保存旧记录并附加新数据。

谢谢

ccqqilindi 回答:AWS Glue Crawler不追加数据

Glue搜寻器不会在表中填充行/记录。它只是定义有关数据的元信息,即,推断这些文件在S3(或其他资源)上的表模式和位置​​等。这意味着如果要保留旧记录,则需要将两个文件都保留在S3上。

注意,如果您将新文件与旧文件保存在S3上的同一“文件夹”中,则无需重新运行搜寻器,因为查询这些文件所需的信息(例如与雅典娜(Athena)的关系。

本文链接:https://www.f2er.com/3164670.html

大家都在问