如何使用ADF检查同一来源中的重复项

我有一个包含许多重复行的单一来源CSV。我要突出显示或删除这些重复项。有人知道吗?

yangwei521 回答:如何使用ADF检查同一来源中的重复项

这可以通过数据流实现!

伟大的克罗默(Kromer)在这里对此做了很好的解释:https://kromerbigdata.com/2019/04/21/use-adf-mapping-data-flows-for-fuzzy-matching-and-dedupe/

希望这对您有帮助!

,

您还将在ADF管道模板库中找到这些模式。只需在浏览器的ADF UI中转到“从模板新建管道”,然后查找以下2个数据流模板即可:

Distrinct rows and dedupe

本文链接:https://www.f2er.com/3156843.html

大家都在问