일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 운영체제
- 데브코스
- 데이터베이스
- redshift
- http
- 가상환경
- HADOOP
- 데이터엔지니어링
- 컴퓨터 네트워크
- TCP
- dockerfile
- airflow.cfg
- Django
- 데이터 엔지니어링
- S3
- AWS
- 컴퓨터네트워크
- 파이썬
- sql
- Docker
- 정리
- 자료구조
- airflow
- linux
- 데이터 파이프라인
- Go
- PYTHON
- 종류
- TIL
- 데이터 웨어하우스
- Today
- Total
목록dockerfile (3)
홍카나의 공부방
Dockerfile을 작성하다보면 WORKDIR도 만들게 된다. WORKDIR은 현재 작업 디렉토리를 지정해주는 것이다. 아래 Dockerfile 예시를 살펴보면 FROM node:10 WORKDIR /usr/src/app COPY ./ ./ RUN npm install CMD [ "node", "server.js" ] 위와 같은 Node.js 앱 빌드를 위한 dockerfile이 있다고 가정하자. WORKDIR을 지정해주면, 위 COPY 명령어로 현재 host system의 파일 경로에 있는 파일들을 추후 docker run 명령어 실행시, 컨테이너 내부의 WORKDIR 로 복사할 수 있게 된다. 만약 WORKDIR을 지정해주지 않으면, host system 파일을 COPY할 때 자동으로 컨테이너 ro..
plugins 폴더에 있는 외부 모듈에서 외부 라이브러리를 import하는데 airflow에서 이를 찾을 수 없다는 오류 메시지가 나왔다. 분명 로컬 파이썬 가상환경에서 해당 라이브러리를 pip install로 설치했는데도 불구하고 인식못하는 것이다. 1. 문제 원인 > 처음 Airflow를 설치할 때 Airflow를 실행할 파이썬 환경에 해당 라이브러리가 같이 설치되지 않았다. Numpy나 Pandas와 같은 대중적인 라이브러리의 경우, Airflow 공식 이미지로 컨테이너를 설치할 때 기본적으로 같이 설치되지만 특정한 라이브러리는 그렇지 않다. 로컬에서 .env로 PYTHONPATH를 맞춰주는 등 로컬단에서의 해결 방법을 다 시도해봤는데 여전히 no module 문제가 발생한다면 Airflow의 파이..
프로그램을 Docker에서 돌아가는 Image로 만들기 위해서는 어떻게 해야 할까? 1. 대상 소프트웨어를 선택한다. 어떤 SW를 Docker Image로 만들 것인지 고려한다. 다수의 컴포넌트로 구성되는 SW라면, 어떤 컴포넌트를 선택할 것인지 고려한다. 2. Docker Image로 빌드한다. 이를 Dockerization이라고 부르는데, Dockerfile이란 text 파일로 세부 정보를 작성한다. Dockerfile에는 SW를 이미지로 바꾸기 위한 Docker에게 주는 명령들이 포함되어 있다. Dockerization으로 만들어진 Docker Image는 하나의 Docker Container안에서 실행된다. Docker Image의 구성 요소는 다음과 같다. 1. 기본 OS( 리눅스라면 우분투, ..