-
通过从数据库获取增量数据来触发Airflow ETL作业
我想对驻留在MongoDB中的数据执行一些转换,并通过Airflow DAG将转换后的数据插入ElasticSearch。 尽管我可以 -
基于事件触发将文件放入S3存储桶中并运行气流任务
是否仅在发生特定事件(例如将文件放入特定S3存储桶的事件)时才运行气流任务。类似于AWS Lambda事件</ -
手动运行的气流时间增量传感器行为
Airflow的内置时间增量传感器在手动触发的DAG运行中的行为如何? <a href="https://airflow.readthedocs.io/e -
气流从上下文回调获取操作员属性
如何从<code>yarn_application_id</code>中检索<code>SparkSubmitHook</code>? 我尝试使用自定义运算符和<code>task_instance -
气流未从DAG文件以外的文件加载操作员任务
通常,我们在定义DAG的同一python文件中定义运算符(请参见<a href="https://airflow.apache.org/tutorial.html" rel="nof -
过去end_date的气流停滞不触发计划
我有以下配置的气流障碍: <pre><code>{ 'start_date': datetime(2017, 1, 1, 0, 0, 0) 'end_date': datetime -
气流+气流为何返回不清楚的错误
我正在Linux服务器上使用气流应用程序 注意-Airflow是一个以编程方式编写,安排和监视工作流的平 -
如果一个节点始终保持运行状态而另一个节点从未执行,该如何构造DAG?
这种情况非常简单。我有3个任务需要运行: <ul> <li> flume_task >>睡眠任务>> http_task </li> </ul> 独立执 -
无法使用Apache Airflow中的FTPHook连接到FTP服务器
我正在尝试在Apache Airflow中使用FTPHook类。以下是以<code>ftp.gnu.org</code>为例的测试代码: <pre><code>from a -
如何在气流中正确使用S3ToSpreadSheetOperator?
我正在尝试使用AirfloweBook_plugin从S3存储桶中的JSON文件传输到Excel文件。但是,当插件尝试读取文件时出 -
是否可以将“空列表”设置为Airflow中的变量?
我试图创建一个空列表作为变量,并希望在脚本中使用它。但是我无法创建一个空列表作为变量?我不 -
为什么Airflow PythonOperator任务失败但返回代码为0?
我有一个与PythonOperator一起运行的Airflow DAG,我想知道为什么我的任务执行失败但返回了0退出? 执 -
在Apache Airflow中创建用户
有人要求我为Airflow实施一些功能。但是,用户创建让我有些困惑。 <strong>我的示例</strong> <p -
使用Airflow将本地目录上传到GCS
我正在尝试使用Airflow将目录(包含实木复合地板文件)上传到GCS。 为此,我尝试了<a href="https://airflow.re -
在气流UI中运行dag时遇到问题
从气流ui提交dag时,我遇到一个奇怪的问题。当我提交dag时,它显示为正在运行,而不显示日志,并且dag -
错误-SSH操作员错误:与ec2实例连接时,Airflow超时
尝试连接ec2实例时出现超时错误。 我可以通过ssh命令连接到计算机: <blockquote> ssh -i keypair.pem -
气流中的全局变量
我正在使用XCom在任务之间进行通信,但是我的代码无法正常工作。 根据教程,我的代码是: < -
使用kubernetes Executor运行时,使用Kubernetes Pod Operator作业失败
我当前正在将kubernetes executor与Airflow一起使用,并且气流中的所有运算符均正常运行,但是包含kubernetes p -
Biqquery:有些行属于不同的分区,而不是目标分区
我正在运行Airflow DAG,它使用Airflow 1.10.2版上的运算符GoogleCloudStorageToBigQueryOperator将数据从GCS移到BQ。 -
catchup = False,为什么还要安排两次计划运行?
我有简单的DAG: (Airflow v1.10.16,在本地主机上使用SequentialExecutor) <ul> <li> <strong>开始日期</strong>设 -
使用气流执行create table语句时,为什么我的表没有显示?
因此,我试图通过气流在Redshift DB中创建一个表。我的连接正常工作,我使用SQL命令对其进行了测试,但 -
KubernetesExecutor的气流失败并在KubernetesJobWatcher中出现未知错误
我一直在尝试在Kubernetes(v1.13.11-gke.14)上设置一个Airflow环境,其中MySQL DB作为元数据数据库,而Kubernetes -
如何在BigQueryOperator上参数化write_disposition?
我正在尝试使jenkins上的当前管道适应气流的影响。 我们的需求之一是能够通过手动触发在日期循环中重 -
气流:BigQueryOperator与BigQuery的配额和限制
是否有任何实用的方法来控制气流的配额和限制? 我对控制BigQuery并发特别感兴趣。 <a href= -
在Airflow的动态subdag中未调用Python运算符
我已经动态创建了subdag。一切正常,main_dag运行正常。它的PythonOperator函数被调用。但是Subdag中可调用的P -
AIRFLOW:DAG的执行超时通知
我有一种情况,我希望如果执行时间超过15分钟,那么气流将杀死dag并发送电子邮件作为通知。 我 -
如何确保Airflow在回填期间仍运行预定的dagrun(并且不会将其放到队列的末尾)?
我们构建了一个气流回填插件,该插件可以在开始日期和结束日期之间清除给定任务的任务实例。 <p -
没有正确跳过带有trigger_rule none_failed的气流任务
在工作流程结束时,我试图与不同的触发规则并行实施2个任务,以记录某些任务的执行是否成功。为此 -
为什么在Apache Airflow中通过PythonOperator使用CustomOperator?
在使用Apache Airflow时,我似乎无法找到为什么有人会在<code>CustomOperator</code>上创建<code>PythonOperator</code>的 -
气流-TriggerDagRunOperator交叉检查
我正试图从另一个触发一个dag。我使用的是<code>TriggerDagRunOperator</code>。 我有以下两个问题。 <