是否有其他方法可以使此(--incremental lastmodified)与--hive-imports一起使用

我正在尝试创建一个sqoop作业,用于在蜂巢中进行增量导入。

sqoop作业--create user_rating_import --meta-connect \ jdbc:hsqldb:hsql://192.168.225.129:16000 / sqoop \ -导入--connect jdbc:postgresql://192.168.148.1:5432 / movielens --username anm \ --table rating -m 8 --target-dir / user / hive / warehouse / user_rating --lastlastified增量-以','结尾的字段 --check-columnrated_at-追加--as-parquetfile --hive-import \ --hive-table user_rating_fact

生成此:

03/12/19 21:39:23信息sqoop.Sqoop:正在运行的Sqoop版本:1.4.7 -不支持配置单元导入的增量lastmodified选项。请删除参数--incremental lastmodified。

caoqiuli 回答:是否有其他方法可以使此(--incremental lastmodified)与--hive-imports一起使用

请尝试以下操作: sqoop作业-创建user_rating_import-元连接\ jdbc:hsqldb:hsql://192.168.225.129:16000 / sqoop \-导入--connect jdbc:postgresql://192.168.148.1:5432 / movielens --driver com.mysql.jdbc.Driver-用户名anm-表评级-m 8 --hive-import --target-dir“ / user / hive / warehouse / user_rating”-以','结尾的字段检查列rated_at-追加--as-parquetfile--hive-table“ user_rating_fact”

本文链接:https://www.f2er.com/2980573.html

大家都在问