-
DEBUG语句“ Ran调度循环”语句的含义是什么?
气流版本:1.10.3 在airflow.cfg文件中,我具有以下记录级别参数: <code>logging_level = DEBUG</code> -
如何将代理配置传递到Airflow S3连接中
我有一个运行气流的ec2服务器,我必须对所有外部https请求使用代理。以下功能可在dag中使用。 <pre>< -
创建气流环境变量
我对气流非常陌生,需要在气流UI中在变量部分的“管理”标签下使用代码创建环境变量start_date和end_date -
将conf传递给TriggerDagRunOperator
在气流为1.10的情况下,当我将conf分配给TriggerDagRunOperator时 <pre><code>dag = DAG( dag_id='all_dist_cp' -
使用xcom pull检索从其他dag推送的变量
我对气流非常陌生,并使用“ xcom_push”和“ xcom_pull”功能。 我有两个任务d1和任务t2,第二个d2和 -
通过从数据库获取增量数据来触发Airflow ETL作业
我想对驻留在MongoDB中的数据执行一些转换,并通过Airflow DAG将转换后的数据插入ElasticSearch。 尽管我可以 -
基于事件触发将文件放入S3存储桶中并运行气流任务
是否仅在发生特定事件(例如将文件放入特定S3存储桶的事件)时才运行气流任务。类似于AWS Lambda事件</ -
是否可以在Airflow渲染模板中使用Jinja包含语句
是否可以在Airflow模板中使用Jinja include语句:<code>{% include 'some-template' %}</code>?我尝试在sql模板中 -
手动运行的气流时间增量传感器行为
Airflow的内置时间增量传感器在手动触发的DAG运行中的行为如何? <a href="https://airflow.readthedocs.io/e -
从“ google_cloud_platform”类型的已保存连接中提取密钥文件JSON
我已在Airflow中保存了类型为“ google_cloud_platform”的连接,如此处<a href="https://cloud.google.com/composer/docs/how -
为什么将datetime转换为摆锤会在python中返回几秒钟的值
在气流中,我在<code>'start_date': datetime.now() - timedelta(days=1),</code>中有<code>default_args.py</code>,同时使 -
BaseSensorOperator的timeout和execution_timeout参数之间的预期区别是什么?
<a href="https://airflow.readthedocs.io/en/1.10.6/_api/airflow/sensors/base_sensor_operator/index.html" rel="nofollow noreferrer">BaseSe -
气流从上下文回调获取操作员属性
如何从<code>yarn_application_id</code>中检索<code>SparkSubmitHook</code>? 我尝试使用自定义运算符和<code>task_instance -
气流未从DAG文件以外的文件加载操作员任务
通常,我们在定义DAG的同一python文件中定义运算符(请参见<a href="https://airflow.apache.org/tutorial.html" rel="nof -
CloudSqlInstanceExportOperator的问题
我正在尝试执行看似简单的任务,但现在无法使其正常工作。我想使用云编写器从SQL数据库收集数据并 -
气流排队的任务未按预期运行
我的Airflow系统具有正在运行的任务和已排队的任务。任务从“已排队”转移到“正在运行”,但我不明 -
成功的数据流管道通过Airflow中的PythonVirtualenvOperator运行了多次
我正在运行一个Apache Beam管道(与Google Dataflow一起部署),该管道正在与Apache Airflow协调。 DAG文 -
气流使用外部传感器等待DAG结束
我想使用传感器让DAG在启动之前等待另一个DAG。 我制作了以下代码: <pre><code>ExternalTaskSensor( -
气流不运行任务
我已经为Airflow编写了一个python任务。当我将DAG加载到Airflow中时,一切正常。一旦触发DAG的运行,它将创 -
使用hiveOperator在气流中使用SELECT配置单元查询获取数据
在气流中,如果我想使用hiveOperator进行蜂巢查询,并且该查询的结果想要转移到另一个任务。 使用hiveOpe -
过去end_date的气流停滞不触发计划
我有以下配置的气流障碍: <pre><code>{ 'start_date': datetime(2017, 1, 1, 0, 0, 0) 'end_date': datetime -
Airflow从私有Google容器存储库中提取Docker映像
我正在使用<a href="https://github.com/puckel/docker-airflow" rel="nofollow noreferrer">https://github.com/puckel/docker-airflow</a> -
在docker容器中出现气流失败/重试时发送电子邮件
我正在尝试使用在此处找到的LocalExecutor.yml文件来运行puckel airflow docker容器: <a href="https://github.co -
将自定义python模块导入到dag文件中,而无需混合dag环境和sys.path?
有什么方法可以将自定义的python模块导入dag文件,而无需混合dag环境和sys.path?不能使用 <pre class="lan -
如何使用Python使用Google Data Prep API
Google刚刚启动了新的API。链接为<a href="https://cloud.google.com/dataprep/docs/html/API-Workflow---Run-Job_145281449" rel="no -
气流反复重试带有错误任务的任务处于“计划”状态,这不是有效的执行状态
当我的子任务超过约1000个任务时,Airflow开始爬行。我注意到问题似乎是气流反复尝试启动任务,但失败 -
如何获得dag状态,例如运行,成功或失败
我想知道dag的状态是正在运行还是失败还是成功。我通过CL参数气流触发器触发dag,在执行作业后,我想 -
Airflow何时准确评估图形定义,为什么?
我很好奇为什么以下代码会生成一个表格,其中基于<code>another</code>的{{1}}列与基于{{ {1}}。 我 -
airflow dag如何从本地目录中提取config json?
我正在使用提供的config json运行我的气流障碍物 管理员->变量部分,并使用该行 <code>dag_config = Variable.get( -
如何在气流中使用PythonVirtualenvOperator?
基本上,我正在使用气流,并制定了一个任务,可以从外部来源下载文件。 <pre><code>t1 = PythonOperator(