홍카나의 공부방

1. 컨테이너의 IP docker container들은 기본적으로 유동 IP를 가지고 있다. 즉, 컨테이너 재기동시 IP가 바뀔 수 있다는 것이다. 그래서 고정 IP를 할당하려면 networks 만들어서 할당해야 한다. Airflow를 구성할 때 postgresDB에 고정IP를 할당시켜서 DB에 접속하는 경우를 살펴보자. 먼저 airflow가 만드는 여러 기본적인 container들이 있는데 이 컨테이너들은 네트워크 지정이 되어있지 않다. 그러면 default network에 모두 소속된다. 그런데 docker에서 컨테이너 간의 네트워크가 다르면 통신할 수 없다! 따라서 동일 네트워크로 할당하는 과정이 필요하다. 2. docker-compose.yaml 파일 수정하기 docker-compose.yaml ..

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..

from airflow.operators.python import PythonOperator airflow DAG의 위 코드를 해석해보면 airflow > operators > python의 PythonOperator 클래스(또는 함수)를 불러오라 로 해석할 수 있다. DAG에서 외부 함수를 가져오려면 import 경로를 어떻게 해줘야 할까? docker에 있는 airflow container로 들어가서 sys.path 변수에 담겨있는 경로로 파이썬 파일을 집어넣으면 된다. 컨테이너 내부에서 파이썬을 실행시키고 sys.path를 출력해주면 import할 수 있는 여러 경로들이 리스트 형태로 나온다. ' ', 는 실행하는 파이썬 파일과 동일한 경로를 지칭하며, 아래 5가지는 pip로 설정된 경로다. sy..

Docker Compose란? docker-compose는 다수의 docker container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴 및 환경설정 파일이다. docker desktop의 일부로 함께 설치된다. docker-compose.yml 혹은 docker-compose.yaml로 설정한다. docker-compose파일로 환경을 만들어두면 개별 컨테이너를 관리하는 것보다 훨씬 생산성이 높지만, 복잡도도 높아진다는 단점이 있다. 연계하여 사용하는 명령어들은 다음과 같다. docker-compose build docker-compose up docker-compose pull docker-compose ps docker-compose down docker-compose start docker..