홍카나의 공부방

plugins 폴더에 있는 외부 모듈에서 외부 라이브러리를 import하는데 airflow에서 이를 찾을 수 없다는 오류 메시지가 나왔다. 분명 로컬 파이썬 가상환경에서 해당 라이브러리를 pip install로 설치했는데도 불구하고 인식못하는 것이다. 1. 문제 원인 > 처음 Airflow를 설치할 때 Airflow를 실행할 파이썬 환경에 해당 라이브러리가 같이 설치되지 않았다. Numpy나 Pandas와 같은 대중적인 라이브러리의 경우, Airflow 공식 이미지로 컨테이너를 설치할 때 기본적으로 같이 설치되지만 특정한 라이브러리는 그렇지 않다. 로컬에서 .env로 PYTHONPATH를 맞춰주는 등 로컬단에서의 해결 방법을 다 시도해봤는데 여전히 no module 문제가 발생한다면 Airflow의 파이..

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..

https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/python/index.html airflow.operators.python — Airflow Documentation airflow.apache.org 파이썬 오퍼레이터 docs를 들어가보면 아래와 같이 (templated)라고 붙은 Parameter가 있는 것을 볼 수 있다. 해당 키워드가 붙으면, Jinja Template과 같은 템플릿을 사용할 수 있는 파라미터다. op_args, op_kwargs는 (templated) 태그가 붙어있지 않지만, 아래 template_fields에 해당 파라미터들이 포함되어 있기 때문에, 사실상 템플릿을 사용할 수 있다. 다음은..

from airflow import DAG import pendulum from airflow.decorators import task with DAG( dag_id="example_python_operator", schedule="0 9 * * *", start_date=pendulum.datetime(2023, 11, 1, tz="Asia/Seoul"), catchup=False, tags=["example"], ) as dag: # [START howto_operator_python] @task(task_id="python_task_1") def print_context(some_input): print(some_input) python_task_1 = print_context("task decor..