홍카나의 공부방

프로그램을 Docker에서 돌아가는 Image로 만들기 위해서는 어떻게 해야 할까? 1. 대상 소프트웨어를 선택한다. 어떤 SW를 Docker Image로 만들 것인지 고려한다. 다수의 컴포넌트로 구성되는 SW라면, 어떤 컴포넌트를 선택할 것인지 고려한다. 2. Docker Image로 빌드한다. 이를 Dockerization이라고 부르는데, Dockerfile이란 text 파일로 세부 정보를 작성한다. Dockerfile에는 SW를 이미지로 바꾸기 위한 Docker에게 주는 명령들이 포함되어 있다. Dockerization으로 만들어진 Docker Image는 하나의 Docker Container안에서 실행된다. Docker Image의 구성 요소는 다음과 같다. 1. 기본 OS( 리눅스라면 우분투, ..

Docker를 사용하는 이유는 여러가지가 있겠지만, 핵심적인 이유 중 하나는 "내가 만든 프로그램이 다른 컴퓨터에서는 돌아가지 않는다면?" 이 물음에 대한 해결을 하기 위함이 가장 클 것이다. 다른 컴퓨터에서 돌아가지 않는 이유도 많을 텐데, 1. 운영체제 이슈 등으로 환경 설정이 제대로 되지 않았거나 ( 혹은 못하거나 ) 2. 라이브러리 dismatching이 생기거나 3. 설치 과정이 제대로 진행되지 못하거나 이런 이유들로 프로그램이 다른 컴퓨터에서 모두 실행됨을 보장하지 못한다. 이를 해결하기 위해서 virtual machine, docker 등이 등장했다. Docker는 나의 프로그램, 컴퓨터 환경을 패키징 및 배포하여 그대로 사용하기 위한 Container 기술이다. 패키징 된 프로그램 모음집은..

airflow를 DE가 왜 사용하는가? backfill을 관리하기 쉬운 tool이라서 그렇다. backfill이란 실패한 데이터 파이프라인을 재실행하거나, 읽어온 데이터들의 문제로 다시 읽어옴을 의미한다. full refresh의 경우 backfill은 그냥 다시 실행하면 끝이나, incremetal update의 경우, backfill의 난이도가 올라간다. start_date와 execution_date airflow의 start_date는 DAG의 시작 날짜라기 보다는 DAG가 처음 읽어와야 하는 데이터의 날짜다. DAG의 실제 첫 실행날짜는 start_date + DAG의 실행주기다. execution_date는 읽어와야 하는 데이터의 날짜와 시간이다. airflow가 자동으로 정한다. 즉, 위 ..

데이터베이스에서 Primary Key(기본키, PK)는 테이블에서 하나의 레코드를 유일하게 지칭할 수 있는 필드(들)이다. RDBMS에서는 PK 값이 중복되지 않도록 유일성(uniqueness)을 보장해 준다. CREATE TABLE products ( product_id INT PRIMARY KEY, name VARCHAR(50), price decimal(7, 2) ); 관계형 DB의 쿼리를 짤 때는 위처럼 필드 명 뒤에 PRIMARY KEY를 지정해 주거나, PRIMARY KEY (product_id, name)으로 다수의 필드를 PK로 지정해 줄 수 있다. (이러면 정규화 측면에서 부분 함수 종속 등이 발생할 수 있지만, 이 글에서는 논외로 한다.) 단, 데이터 웨어하우스들은 기본키 유일성을 보장..