Nifi:检查CSV文件以获取行更新,然后提取

通常在我们的环境中,当有人要摄取新数据时,他们会生成一个新的CSV文件,Nifi将从SFTP中获取该文件。但是,我有一个新情况,即源的CSV文件位于共享驱动器上,当更新时,他们的应用程序会向其中添加新行。

在添加新行时,Nifi是否可以监视此CSV文件?并且它可以随后仅吸收新数据吗?我认为对于关系数据库,它具有类似的功能,但是对于文件,我还没有看到类似的功能。预先感谢。

kyb620 回答:Nifi:检查CSV文件以获取行更新,然后提取

为此尝试使用TailFile处理器。如果行总是被追加到末尾(我怀疑是这种情况),则取决于它的调度方式(以及一次添加多少行),TailFile应该为每个流文件输出一行,或者为每个流文件输出行数。无论哪种情况,您都会有新行流。

本文链接:https://www.f2er.com/2911767.html

大家都在问