导入sqoop时是否可以在目标目录中使用webhdfs?

使用 sqoop 导入的数据必须发送到另一个集群。 目前使用sqoop导入数据,然后将数据文件distcp到另一个集群

但是,当使用 sqoop 导入时,我想通过将 webhdfs 路径提供给 target-dir 部分来将数据文件发送到另一个集群。

此代码不起作用吗?

sqoop import \
--connect jdbc:oracle:thin:@//${DBSERVER1}:${DBSERVER1_PORT}/${DBNAME} \
--username $DBUSER \
--password $DBPASSWORD \
--query "$sql_current" \
--hive-import \
--hive-database ${hdbname} \
--hive-table $newtname \
--hive-overwrite \
--hive-drop-import-delims \
**--target-dir "webhdfs://ip:port/user/hive/warehouse/${hdbname}.db/$newtname" \**
--as-parquetfile \
--m $m_cnt ${lob_condition};

文件是在运行sqoop的集群上创建的 即使我使用了 webhdfs

qazwsxasas 回答:导入sqoop时是否可以在目标目录中使用webhdfs?

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/6370.html

大家都在问