목록전체 글 (183)

홍카나의 공부방

[Airflow] python airflow library 설치하기

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..
Data Engineering/Airflow 2023. 12. 16. 12:44
[Python] 가상환경에서 Jupyter Notebook 띄우는 방법 + datetime, relativedelta

venv 가상환경을 activate 했다는 가정 1) pip install jupyter 2) 설치 이후, python -m notebook 그러면 띄워짐 시간 관련 연산에 사용하는 datetime + relativedelta 사용 예시는 아래
Programming Language/Python 2023. 11. 20. 22:18
[Airflow] python operator - 템플릿 사용이 가능한 파라미터

https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/python/index.html airflow.operators.python — Airflow Documentation airflow.apache.org 파이썬 오퍼레이터 docs를 들어가보면 아래와 같이 (templated)라고 붙은 Parameter가 있는 것을 볼 수 있다. 해당 키워드가 붙으면, Jinja Template과 같은 템플릿을 사용할 수 있는 파라미터다. op_args, op_kwargs는 (templated) 태그가 붙어있지 않지만, 아래 template_fields에 해당 파라미터들이 포함되어 있기 때문에, 사실상 템플릿을 사용할 수 있다. 다음은..
Data Engineering/Airflow 2023. 11. 19. 15:00
[Airflow] Task Decorator 간단 사용법

from airflow import DAG import pendulum from airflow.decorators import task with DAG( dag_id="example_python_operator", schedule="0 9 * * *", start_date=pendulum.datetime(2023, 11, 1, tz="Asia/Seoul"), catchup=False, tags=["example"], ) as dag: # [START howto_operator_python] @task(task_id="python_task_1") def print_context(some_input): print(some_input) python_task_1 = print_context("task decor..
Data Engineering/Airflow 2023. 11. 16. 14:40
이전 Prev 1 ··· 8 9 10 11 12 13 14 ··· 46 Next 다음