[Airflow] CLI에서 Docker Airflow 로그인

Docker에 설치되어 있는 Airflow에 로그인하는 방법을 살펴본다.

전제가 Docker 기반 Airflow임에 유의한다. EC2에 설치된 Airflow나 MMWA의 방법과는 다를 수 있다.

 

---

 

정확하게는 Airflow Scheduler 안으로 로그인하는 과정이다.

docker ps

먼저 docker ps라는 명령어를 써서 컨테이너들의 아이디를 알아낸다.

docker 컨테이너 목록

저 중에 scheduler에 로그인을 해야 하고, 컨테이너 아이디는 4c51416a7578이다.

docker exec -it 4c51416a7578 sh

위 아이디를 복붙하고, 컨테이너에 로그인을 하기 위해 위 명령코드를 작성해준다.

이렇게 하면 에어플로우 스케쥴러 컨테이너로 접속할 수 있을 것이다.

 

 

---

만약 특정 DAG의 task를 실행시키고 싶다면 다음의 명령을 추가로 진행한다.

 

airflow dags list

dags list를 입력하면 DAG 목록을 확인할 수 있다.

그리고 실행을 원하는 DAG의 task 목록을 확인하기 위해서

airflow tasks list dag_v1

위 코드를 입력한다.

 

example

내가 예시로 든 dag_v1이라는 DAG는 위와 같은 task들로 구성되어 있다.

airflow tasks test {dag이름} {task이름} {원하는 input...}

이렇게 해서 task를 실행해 보자.