-
基于事件触发将文件放入S3存储桶中并运行气流任务
是否仅在发生特定事件(例如将文件放入特定S3存储桶的事件)时才运行气流任务。类似于AWS Lambda事件</ -
手动运行的气流时间增量传感器行为
Airflow的内置时间增量传感器在手动触发的DAG运行中的行为如何? <a href="https://airflow.readthedocs.io/e -
气流排队的任务未按预期运行
我的Airflow系统具有正在运行的任务和已排队的任务。任务从“已排队”转移到“正在运行”,但我不明 -
过去end_date的气流停滞不触发计划
我有以下配置的气流障碍: <pre><code>{ 'start_date': datetime(2017, 1, 1, 0, 0, 0) 'end_date': datetime -
气流反复重试带有错误任务的任务处于“计划”状态,这不是有效的执行状态
当我的子任务超过约1000个任务时,Airflow开始爬行。我注意到问题似乎是气流反复尝试启动任务,但失败 -
气流中的全局变量
我正在尝试使用Airflow来实现基本的ETL工作,但停留在一点: 我有3个功能。我想为每个变量定义全 -
气流+气流为何返回不清楚的错误
我正在Linux服务器上使用气流应用程序 注意-Airflow是一个以编程方式编写,安排和监视工作流的平 -
通过配置和代码将气流捕获设置为false无效
我试图了解Airflow的状况。我已经使用catchup = False参数设置了DAG。但是,当我启用它时,它只会从start_date -
通过数据库触发器异步触发气流DAG
我想合并几个历史增长的脚本(Python,Bash和Powershell),目的是在许多不同数据库后端(主要是postgres, -
如果一个节点始终保持运行状态而另一个节点从未执行,该如何构造DAG?
这种情况非常简单。我有3个任务需要运行: <ul> <li> flume_task >>睡眠任务>> http_task </li> </ul> 独立执 -
用于Apache Airflow ML框架设置的Python 3.6虚拟环境中的psutil包部署问题
我正在尝试在Mac OS的Python虚拟环境中安装基于Apache Airflow的机器学习框架。该ML框架基于Apache Airflow 1.9版 -
为什么Airflow PythonOperator任务失败但返回代码为0?
我有一个与PythonOperator一起运行的Airflow DAG,我想知道为什么我的任务执行失败但返回了0退出? 执 -
气流Dag Run停转中
我使用python 3.6.8在ubuntu上设置了airflow v1.10.6。并且编写了一个简单的练习dag,它可以运行一组30个并行任 -
LocalExecutor的气流配置建议
我正在使用气流docker-compose <a href="https://github.com/puckel/docker-airflow" rel="nofollow noreferrer">from here</a>,并且 -
在Apache Airflow中创建用户
有人要求我为Airflow实施一些功能。但是,用户创建让我有些困惑。 <strong>我的示例</strong> <p -
如何安排DAG Airflow从现在开始5分钟内首次运行?
情况: <ul> <li>气流1.10.6 </li> <li>今天是11月18日,晚上8点。</li> <li> airflow.cfg.default_timezone =系统(即 -
我在Airflow WEB UI日志中不断收到此错误,并不断后端postgres?错误-调度程序心跳异常:(psycopg2.OperationalError)
我的气流安装在具有3个节点的kubernetes集群上并使用postgres SQL Server配置,最近DAG文件的多个日志出现此 -
当并行度设置为大量时,气流调度程序会异常启动
我是Airflow的新手,我正在尝试使用airflow建立数据管道,但它总是会出现一些异常。我的airflow.cfg看起来 -
气流通过ExternalTaskSensor手动运行DAG
我有一个带有<code>ExternalTaskSensor</code>的DAG。我正确设置了<code>execution_delta</code>,并且除非我想手动运行 -
气流调度:如何只运行一次初始设置任务?
如果我的DAG是这个 <strong> [设置]-> [处理任务]-> [结束] </strong>。 我如何安排此DAG定期运行, -
带有Kubernetes执行器的Airflow Scheduler失败:-KubernetesJobWatcher中的未知错误
我正在尝试与kubernetes执行器建立气流。我已经克隆了airflow 1.10.6并正在构建docker映像,然后使用kube进行 -
在气流UI中运行dag时遇到问题
从气流ui提交dag时,我遇到一个奇怪的问题。当我提交dag时,它显示为正在运行,而不显示日志,并且dag -
气流中的全局变量
我正在使用XCom在任务之间进行通信,但是我的代码无法正常工作。 根据教程,我的代码是: < -
使用kubernetes Executor运行时,使用Kubernetes Pod Operator作业失败
我当前正在将kubernetes executor与Airflow一起使用,并且气流中的所有运算符均正常运行,但是包含kubernetes p -
Airflow XCom中的元组索引超出范围
我正在使用Airflow和XComs,并且想从该函数返回多个值,但是,我遇到了问题。以下是我的代码: <pre> -
气流KubernetesExecutor调度程序Kube监视流程模具
在AWS上拥有一个K8S集群,试图在其中部署<code>KubernetesExecutor</code>的Airflow Webserver + Scheduler。不幸的是, -
气流调度程序定期抱怨没有心跳
出现气流(v1.10.5)Web服务器会抱怨的问题... <blockquote> 调度程序似乎未在运行。上一次心跳是 -
带有SQS Boto客户端错误的Airflow Celery执行器
我正在尝试使用所有配置来启动调度程序。我遇到以下错误 <pre><code>[2019-11-28 12:39:32,163] {credentials.py: -
DST之后,AirFlow DAG运行两次
我正在使用以下逻辑在运行时更新DAG的调度程序: <pre><code>now = time.localtime() sched_interval = '30 6 * * -
当我的气流开始时,它将在数据库上打开很多连接
我在使用Apache Airflow时遇到问题。 启动时,它会记录许多连接,例如: <pre><code>[2019-12-04 17:26:2