Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 파이썬
- 데이터 웨어하우스
- 데이터 파이프라인
- Go
- 운영체제
- redshift
- 데브코스
- 자료구조
- S3
- PYTHON
- 정리
- airflow
- Docker
- sql
- 컴퓨터 네트워크
- HADOOP
- dockerfile
- 종류
- http
- airflow.cfg
- 데이터 엔지니어링
- 컴퓨터네트워크
- TIL
- AWS
- 데이터엔지니어링
- linux
- 데이터베이스
- 가상환경
- Django
- TCP
Archives
- Today
- Total
목록에어플로우 (1)
홍카나의 공부방
[Airflow] 에어플로우 번역 책 오탈자 - 1) 스케쥴러
에어플로우 한글 책 p.12에서 Airflow의 스케쥴러가 DAG 내용을 파싱해서 task간 예약 주기(schedule interval), 의존성(dependency)을 체크한다는 내용이 나옵니다. 그런데 해당 페이지 중간 부분에 3. 예약된 각 태스크에 대해 스케줄러는 해당 태스크의 의존성(=업스트림 태스크)을 확인합니다. 의존성 태스크가 완료되지 않았다면 실행 대기열에 추가합니다. 이런 문장이 나와있습니다. 그런데 p.13에 나온 그림1.9랑 확인해보면 스케쥴러가 태스크 의존성이 모두 해결되었을 때 실행할 태스크를 대기열에 추가한다고 나와 있습니다. 앞뒤 내용이 다르죠. 어느 내용이 정확한지 결론부터 말씀드리면 후자(의존성이 모두 해결되었을 때 Execution Queue에 추가)가 맞습니다. (1)..
Data Engineering/Airflow
2024. 3. 10. 17:27