更改HDInsight的ADFv2 Hive日志的路径

我注意到,每当我运行任何ADFv2管道(HDInsightHive活动)时,就会在默认存储中为群集创建容器“ adfjobs”(如果尚不存在)。另外,该容器下会出现一个文件夹(由于其基于Blob而称为伪文件夹)HiveQueryJobs,该容器反过来似乎正在存储各种运行实例的日志。我们可以在ADF主动性中更改此路径吗?我还没有看到任何这样的选择。这是一个不错的选择,可以说我们希望为每次运行的日志文件(例如pipelinename / date_id)创建一个更具逻辑意义的路径。

alishar 回答:更改HDInsight的ADFv2 Hive日志的路径

不幸的是,您无法更改Azure Data Factory作业日志的位置。

默认情况下,Azure数据工厂创建一个文件夹名称“ adfjobs”来存储ADF作业日志。

“ adflogs”文件夹保存具有有意义路径的日志文件。

示例:我已提交了mapreduce作业,与此作业相关的日志文件位于路径“ adfjobs / MapReduceJobs / 04e3074c-b641-4a1d-b766-29bc48b41884 / 13_08_2019_05_13_43_619 / Status”中,该路径具有有意义的路径“ logs folder / Jobtype / RunID / Timestamp / Status of job”。

enter image description here

希望这会有所帮助。

本文链接:https://www.f2er.com/3118563.html

大家都在问