我正在开发以下架构：
1）flume agent_a将文本文件拖到数据源目录中，并在kafka主题中移动它们。
2）flume agent_b将文本文件从kafka主题移至hdfs。
我对此问题有些困惑：
如何确定agent_b将从kafka主题中获取数据，以便将与agent_a从数据源目录获取的文本文件完全相同的文本文件（相同的行，以相同的顺序）提取到HDFS中？。
Tnks
zfw19900506159 回答：使用flafka将相同的文本文件从数据源转换为HDFS
Flume应该保持输入文件的源偏移量，并按该顺序将其批处理到Kafka Producer中。
但是，如果您在Kafka主题中有多个分区，则无法做出任何订购保证。