목록airflow.cfg (3)

홍카나의 공부방

[Airflow] cfg에서의 Timezone

airflow.cfg에는 타임존 관련 키가 2개 존재한다. 하나는 default_timezone이고, 다른 하나는 default_ui_timezone이다. 이 키를 변경하면 한국시간 KST인 UTC+09:00에 시간을 맞출 수 있게 된다. DAG의 start_date, end_date, schedule 변수에 적힌 시간은 default_timezone에 지정된 타임존을 따른다. 그러나 DAG가 실행되는 execution_date와 기록되는 log time은 항상 UTC를 따른다. 즉, execution_date를 사용할때는 UTC와 KST를 고려하여 시간을 변환하며 이해해야 할 필요가 있다는 것이다. 현재로서는 UTC를 일관되게 사용하여 혼란을 덜어주는 것이 좋다고 판단된다.
Data Engineering/Airflow 2023. 6. 21. 14:03
[Airflow] Airflow.cfg 일부 살펴보기

airflow를 설치할 때 Airflow.cfg도 함께 제공된다. 이 파일로 airflow의 동작, 설정, 옵션을 수정할 수 있는데 파일 안에 뭐가 있는지 알아야 맛보고 즐길 수 있을 것이다. airflow.cfg 내부의 일부분을 살펴본다. docker를 사용하고 있다면, airflow-webserver 컨테이너 내부의 airflow.cfg를 살펴보면 되겠다. (이 글은 airflow 2.5.1 버전을 기준으로 작성되었다.) 1. DAGs 폴더는 어디에 지정되는가? dags_folder 변수에 절대 경로로 DAG들이 저장되는 폴더를 지정할 수 있다. 보통 코드 레파지토리의 하위폴더 경로로 설정한다고 한다. 기본 값은 /opt/airflow/dags 일 것이다. 2. DAGs 폴더에 새로운 Dag를 만들면..
Data Engineering/Airflow 2023. 6. 6. 11:55
[Docker, Airflow] Windows Docker 기반 Airflow에서 airflow.cfg 접근+수정

내가 시도한 방법은 다음과 같다. ( 환경 : Windows Docker : Airflow ) (1) GUI 기반 방법 1. docker GUI로 들어간다. 2. airflow-webserver 컨테이너 이름을 클릭하고, Files 탭을 클릭 3. opt > airflow > airflow.cfg 더블 클릭 이후 cfg 파일을 조회, 수정하면 된다. 만약 수정했다면 save changes를 눌러 변경사항을 저장한다. (2) CLI 기반 방법 1. 윈도우 기준으로 Powershell을 켜서 docker ps로 컨테이너 목록을 확인한다. (docker desktop이 켜있어야 docker ps 명령어가 들어간다.) 2. docker exec -it -u root 652d1175ff86 sh 명령어로, 컨테이..
Data Engineering/Docker 2023. 6. 5. 15:24
이전 Prev 1 Next 다음