如何在JDBC Source Connector中设置开始偏移以从Kafka中的MySQL表获取所有数据

我已经使用Kafka Connect添加了JDBC Source Connector,它是从MySQL表中获取数据。

连接器已成功添加,并且数据实时在其中流动。

但是相应的主题并不包含所有先前的数据。

我尝试重新启动Kafka Connect。

这是我的JDBC Source Connector配置:

{
"name": "kb_yp_loan","connector.class": "io.aiven.connect.jdbc.JdbcSourceConnector","tasks.max": "1","key.converter": "org.apache.kafka.connect.storage.StringConverter","value.converter": "io.confluent.connect.avro.AvroConverter","value.converter.schema.registry.url": "XXXX","value.converter.basic.auth.credentials.source": "USER_INFO","value.converter.basic.auth.user.info": "XXXX","config.action.reload": "restart","connection.url": "jdbc:mysql://XXXX/XX?user=XXXX&password=XXXX&useCursorFetch=true&defaultFetchSize=1000","connection.user": "XXXX","connection.password": "XXXX","table.whitelist": "yp_loan","mode": "incrementing","incrementing.column.name": "id","topic.prefix": "kb_"

}

请建议如何将所有以前的数据带入我的Kafka主题。

happylady0001a 回答:如何在JDBC Source Connector中设置开始偏移以从Kafka中的MySQL表获取所有数据

connect-distributed.properties中,您需要添加consumer.auto.offset.reset=earliest以启动Connect使用者实例以读取所有现有的主题数据。

否则,连接器从当前的最新主题偏移开始。

本文链接:https://www.f2er.com/3166369.html

大家都在问