목록airflow (19)

홍카나의 공부방

[Docker, Airflow] Windows Docker 기반 Airflow에서 airflow.cfg 접근+수정

내가 시도한 방법은 다음과 같다. ( 환경 : Windows Docker : Airflow ) (1) GUI 기반 방법 1. docker GUI로 들어간다. 2. airflow-webserver 컨테이너 이름을 클릭하고, Files 탭을 클릭 3. opt > airflow > airflow.cfg 더블 클릭 이후 cfg 파일을 조회, 수정하면 된다. 만약 수정했다면 save changes를 눌러 변경사항을 저장한다. (2) CLI 기반 방법 1. 윈도우 기준으로 Powershell을 켜서 docker ps로 컨테이너 목록을 확인한다. (docker desktop이 켜있어야 docker ps 명령어가 들어간다.) 2. docker exec -it -u root 652d1175ff86 sh 명령어로, 컨테이..
Data Engineering/Docker 2023. 6. 5. 15:24
[Airflow] CLI에서 Docker Airflow 로그인

Docker에 설치되어 있는 Airflow에 로그인하는 방법을 살펴본다. 전제가 Docker 기반 Airflow임에 유의한다. EC2에 설치된 Airflow나 MMWA의 방법과는 다를 수 있다. 정확하게는 Airflow Scheduler 안으로 로그인하는 과정이다. docker ps 먼저 docker ps라는 명령어를 써서 컨테이너들의 아이디를 알아낸다. 저 중에 scheduler에 로그인을 해야 하고, 컨테이너 아이디는 4c51416a7578이다. docker exec -it 4c51416a7578 sh 위 아이디를 복붙하고, 컨테이너에 로그인을 하기 위해 위 명령코드를 작성해준다. 이렇게 하면 에어플로우 스케쥴러 컨테이너로 접속할 수 있을 것이다. 만약 특정 DAG의 task를 실행시키고 싶다면 다음..
Data Engineering/Airflow 2023. 6. 4. 14:35
[Airflow] Airflow 소개와 구성

Airflow 소개 파이썬으로 만들어진 데이터 파이프라인 (ETL) 프레임워크다. 데이터 파이프라인 스케줄링을 지원하여, 정해진 시간에 ETL을 실행하거나 그 다음 ETL을 실행한다. Airflow에서는 데이터 파이프라인을 DAG(Directed Acyclic Graph)라고 부른다. DAG는 Task로 구성된다. ( 예를 들어 3개의 태스크로 구성된다면 Extract, Transform, Load로 구성 ) 하나의 DAG는 하나 이상의 태스크로 구성된다. 태스크는 Airflow의 Operator로 만들어진다. Airflow에서 이미 다양한 종류의 오퍼레이터를 제공한다. 경우에 오퍼레이터를 결정해서 사용할 수 있다. Airflow 구성 Airflow는 웹 서버, 스케줄러, 워커, 메타 데이터 데이터베이스..
Data Engineering/Airflow 2023. 5. 29. 20:25
이전 Prev 1 2 3 4 5 Next 다음