Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 데이터엔지니어링
- TIL
- redshift
- 자료구조
- 데이터 엔지니어링
- linux
- sql
- 종류
- 데브코스
- 데이터 파이프라인
- airflow
- 정리
- http
- 데이터 웨어하우스
- 컴퓨터네트워크
- AWS
- PYTHON
- dockerfile
- 운영체제
- Go
- S3
- airflow.cfg
- 가상환경
- 데이터베이스
- HADOOP
- Docker
- Django
- 컴퓨터 네트워크
- 파이썬
- TCP
Archives
- Today
- Total
목록구성 (1)
홍카나의 공부방
[Airflow] Airflow 소개와 구성
Airflow 소개 파이썬으로 만들어진 데이터 파이프라인 (ETL) 프레임워크다. 데이터 파이프라인 스케줄링을 지원하여, 정해진 시간에 ETL을 실행하거나 그 다음 ETL을 실행한다. Airflow에서는 데이터 파이프라인을 DAG(Directed Acyclic Graph)라고 부른다. DAG는 Task로 구성된다. ( 예를 들어 3개의 태스크로 구성된다면 Extract, Transform, Load로 구성 ) 하나의 DAG는 하나 이상의 태스크로 구성된다. 태스크는 Airflow의 Operator로 만들어진다. Airflow에서 이미 다양한 종류의 오퍼레이터를 제공한다. 경우에 오퍼레이터를 결정해서 사용할 수 있다. Airflow 구성 Airflow는 웹 서버, 스케줄러, 워커, 메타 데이터 데이터베이스..
Data Engineering/Airflow
2023. 5. 29. 20:25