목록[Special Articles] (1)

홍카나의 공부방

[Airflow Special] 비트코인 가격 수집 DAG 예시로 알아보는 Trigger Rule

some_task = PythonOperator( task_id = "some_task", trigger_rule = "none_failed" ) 먼저 Airflow가 DAG 내에서 작업(task)을 실행하는 방법을 알아봅시다. Airflow는 DAG를 실행할 때, 각 task를 지속적으로 확인하여 실행 가능 여부를 확인합니다. task 실행이 가능하다고 판단하면, 스케쥴러가 작업을 선택한 후에 실행을 예약합니다. 그렇다면 task 실행이 가능한지는 어떻게 판단할 수 있을까요? 기본적으로 하나의 task는 업스트림(up-stream) task들이 모두 수행되면 다운스트림(down-stream) task들이 실행되는 선형적인 실행 구조를 가지고 있습니다. 이 구조는 기본적인 트리거 규칙(Trigger Ru..
[Special Articles] 2024. 3. 23. 17:36
이전 Prev 1 Next 다음