在会话期间何时设置配置单元参数?

我是我的新手,部分工作需要在托管和外部配置单元表中创建/插入数据。我们在配置单元会话开始时运行了几行“设置”参数,但是我遇到了一些情况,例如,文件合并为某些分区(文件数量很少),但其他人(很多较小的文件)似乎不在随机的日子里。

我的问题是:什么时候需要输入我所有的Hive设置参数?是否需要针对我正在运行的每个插入/命令/语句执行此操作?还是在Hive会话开始时刚启动Hive一次?

这些是我们一直在使用的标准设置参数:

constructor()
  { 
      code here 
  }
enjie007 回答:在会话期间何时设置配置单元参数?

您可以将配置放在文件的开头,它将在整个会话中起作用。

或者,您可以将公用参数放在单独的文件ConverterParameter和每个脚本调用中

<html lang="en"> <!-- Purple: #a20067 Dark Blue: #005eb8 --> <head> <meta charset="utf-8"> </head> <body> <style> p { margin:0; padding:0; } .h { border-width:1px;border-style:solid;background-color:#005eb8;color:#ffffff;font-weight:bold;text-align:left;padding:8px; } .v { border-width:1px;border-style:solid;background-color:#c6c7c8;color:black;font-weight:bold;text-align:left;padding:8px; } </style> 开头。

您也可以将它们放入eventmachine

如果您在Qubole / AWS上,也可以使用bootstrap来执行相同操作:https://docs.qubole.com/en/latest/user-guide/hive/bootstrap-script.html

本文链接:https://www.f2er.com/3116980.html

大家都在问