목록shell (1)

홍카나의 공부방

[Airflow] 쉘 스크립트(Shell) 실행하기

쉘 스크립트는 Unix/Linux Shell 명령을 이용하여 만들어지고, 인터프리터에 의해 한 줄씩 처리되는 파일이다. 주로 파일 이름에 .sh 확장자를 붙인다. Airflow의 Bash Operator 안에다가 shell 명령어를 입력하면 동작하게 된다. 쉘 명령어는 복잡한 로직을 처리하는 경우에 사용한다. Worker 컨테이너가 쉘 스크립트를 수행하려면, 쉘 파일을 인식하게 만들어야 한다. 그러나 Docker의 특성상 컨테이너는 외부의 파일을 인식할 수 없다. 그리고 컨테이너 안에 파일을 만들어줘도 컨테이너 재시작시 파일이 사라진다. 이에 대한 해결 방법은 /plugins:/opt/airflow/plugins 폴더에 쉘 파일을 넣어두는 것이다. .yaml 파일에는 기본적으로 Docker Volume을..
Data Engineering/Airflow 2023. 11. 12. 18:37
이전 Prev 1 Next 다음