Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Django
- HADOOP
- TCP
- 컴퓨터네트워크
- S3
- airflow
- 운영체제
- 파이썬
- 데이터베이스
- linux
- dockerfile
- TIL
- 자료구조
- AWS
- 종류
- Docker
- Go
- http
- 데이터 파이프라인
- 데이터엔지니어링
- 데브코스
- 컴퓨터 네트워크
- airflow.cfg
- 가상환경
- redshift
- 정리
- sql
- 데이터 웨어하우스
- 데이터 엔지니어링
- PYTHON
Archives
- Today
- Total
목록Plugins (1)
홍카나의 공부방

from airflow.operators.python import PythonOperator airflow DAG의 위 코드를 해석해보면 airflow > operators > python의 PythonOperator 클래스(또는 함수)를 불러오라 로 해석할 수 있다. DAG에서 외부 함수를 가져오려면 import 경로를 어떻게 해줘야 할까? docker에 있는 airflow container로 들어가서 sys.path 변수에 담겨있는 경로로 파이썬 파일을 집어넣으면 된다. 컨테이너 내부에서 파이썬을 실행시키고 sys.path를 출력해주면 import할 수 있는 여러 경로들이 리스트 형태로 나온다. ' ', 는 실행하는 파이썬 파일과 동일한 경로를 지칭하며, 아래 5가지는 pip로 설정된 경로다. sy..
Data Engineering/Airflow
2023. 11. 16. 14:36