목록Data Engineering (95)

홍카나의 공부방

[Airflow] python airflow library 설치하기

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..
Data Engineering/Airflow 2023. 12. 16. 12:44
[Airflow] python operator - 템플릿 사용이 가능한 파라미터

https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/python/index.html airflow.operators.python — Airflow Documentation airflow.apache.org 파이썬 오퍼레이터 docs를 들어가보면 아래와 같이 (templated)라고 붙은 Parameter가 있는 것을 볼 수 있다. 해당 키워드가 붙으면, Jinja Template과 같은 템플릿을 사용할 수 있는 파라미터다. op_args, op_kwargs는 (templated) 태그가 붙어있지 않지만, 아래 template_fields에 해당 파라미터들이 포함되어 있기 때문에, 사실상 템플릿을 사용할 수 있다. 다음은..
Data Engineering/Airflow 2023. 11. 19. 15:00
[Airflow] Task Decorator 간단 사용법

from airflow import DAG import pendulum from airflow.decorators import task with DAG( dag_id="example_python_operator", schedule="0 9 * * *", start_date=pendulum.datetime(2023, 11, 1, tz="Asia/Seoul"), catchup=False, tags=["example"], ) as dag: # [START howto_operator_python] @task(task_id="python_task_1") def print_context(some_input): print(some_input) python_task_1 = print_context("task decor..
Data Engineering/Airflow 2023. 11. 16. 14:40
[Airflow] Python 외부 함수 가져와서 사용하기

from airflow.operators.python import PythonOperator airflow DAG의 위 코드를 해석해보면 airflow > operators > python의 PythonOperator 클래스(또는 함수)를 불러오라 로 해석할 수 있다. DAG에서 외부 함수를 가져오려면 import 경로를 어떻게 해줘야 할까? docker에 있는 airflow container로 들어가서 sys.path 변수에 담겨있는 경로로 파이썬 파일을 집어넣으면 된다. 컨테이너 내부에서 파이썬을 실행시키고 sys.path를 출력해주면 import할 수 있는 여러 경로들이 리스트 형태로 나온다. ' ', 는 실행하는 파이썬 파일과 동일한 경로를 지칭하며, 아래 5가지는 pip로 설정된 경로다. sy..
Data Engineering/Airflow 2023. 11. 16. 14:36
이전 Prev 1 2 3 4 5 6 7 8 ··· 24 Next 다음