홍카나의 공부방

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..

venv 가상환경을 activate 했다는 가정 1) pip install jupyter 2) 설치 이후, python -m notebook 그러면 띄워짐 시간 관련 연산에 사용하는 datetime + relativedelta 사용 예시는 아래

https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/python/index.html airflow.operators.python — Airflow Documentation airflow.apache.org 파이썬 오퍼레이터 docs를 들어가보면 아래와 같이 (templated)라고 붙은 Parameter가 있는 것을 볼 수 있다. 해당 키워드가 붙으면, Jinja Template과 같은 템플릿을 사용할 수 있는 파라미터다. op_args, op_kwargs는 (templated) 태그가 붙어있지 않지만, 아래 template_fields에 해당 파라미터들이 포함되어 있기 때문에, 사실상 템플릿을 사용할 수 있다. 다음은..

from airflow.operators.python import PythonOperator airflow DAG의 위 코드를 해석해보면 airflow > operators > python의 PythonOperator 클래스(또는 함수)를 불러오라 로 해석할 수 있다. DAG에서 외부 함수를 가져오려면 import 경로를 어떻게 해줘야 할까? docker에 있는 airflow container로 들어가서 sys.path 변수에 담겨있는 경로로 파이썬 파일을 집어넣으면 된다. 컨테이너 내부에서 파이썬을 실행시키고 sys.path를 출력해주면 import할 수 있는 여러 경로들이 리스트 형태로 나온다. ' ', 는 실행하는 파이썬 파일과 동일한 경로를 지칭하며, 아래 5가지는 pip로 설정된 경로다. sy..