Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- PYTHON
- redshift
- 컴퓨터 네트워크
- sql
- http
- AWS
- airflow.cfg
- 데이터 파이프라인
- 데이터 웨어하우스
- S3
- Go
- 종류
- 데이터베이스
- 정리
- airflow
- 파이썬
- linux
- Docker
- TIL
- TCP
- 운영체제
- Django
- 자료구조
- 컴퓨터네트워크
- 데이터 엔지니어링
- 가상환경
- 데브코스
- dockerfile
- 데이터엔지니어링
- HADOOP
Archives
- Today
- Total
홍카나의 공부방
[Airflow] CLI에서 Docker Airflow 로그인 본문
Docker에 설치되어 있는 Airflow에 로그인하는 방법을 살펴본다.
전제가 Docker 기반 Airflow임에 유의한다. EC2에 설치된 Airflow나 MMWA의 방법과는 다를 수 있다.
정확하게는 Airflow Scheduler 안으로 로그인하는 과정이다.
docker ps
먼저 docker ps라는 명령어를 써서 컨테이너들의 아이디를 알아낸다.
저 중에 scheduler에 로그인을 해야 하고, 컨테이너 아이디는 4c51416a7578이다.
docker exec -it 4c51416a7578 sh
위 아이디를 복붙하고, 컨테이너에 로그인을 하기 위해 위 명령코드를 작성해준다.
이렇게 하면 에어플로우 스케쥴러 컨테이너로 접속할 수 있을 것이다.
만약 특정 DAG의 task를 실행시키고 싶다면 다음의 명령을 추가로 진행한다.
airflow dags list
dags list를 입력하면 DAG 목록을 확인할 수 있다.
그리고 실행을 원하는 DAG의 task 목록을 확인하기 위해서
airflow tasks list dag_v1
위 코드를 입력한다.
내가 예시로 든 dag_v1이라는 DAG는 위와 같은 task들로 구성되어 있다.
airflow tasks test {dag이름} {task이름} {원하는 input...}
이렇게 해서 task를 실행해 보자.
반응형
'Data Engineering > Airflow' 카테고리의 다른 글
[Airflow] cfg에서의 Timezone (0) | 2023.06.21 |
---|---|
[Airflow] task 실패시 분석하기 (1) | 2023.06.06 |
[Airflow] Airflow.cfg 일부 살펴보기 (2) | 2023.06.06 |
[Airflow] Airflow 소개와 구성 (0) | 2023.05.29 |
[DE] 데이터 파이프라인의 종류와 만들 때 고려할 점들 (1) | 2023.05.29 |