일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 가상환경
- 데이터 엔지니어링
- Go
- 컴퓨터네트워크
- http
- 파이썬
- airflow
- AWS
- S3
- PYTHON
- 정리
- redshift
- linux
- Docker
- 데이터 파이프라인
- 데브코스
- dockerfile
- sql
- 종류
- 데이터 웨어하우스
- airflow.cfg
- Django
- 데이터엔지니어링
- 자료구조
- 컴퓨터 네트워크
- 데이터베이스
- 운영체제
- HADOOP
- TCP
- TIL
- Today
- Total
목록Data Engineering (95)
홍카나의 공부방
에어플로우 한글 책 p.12에서 Airflow의 스케쥴러가 DAG 내용을 파싱해서 task간 예약 주기(schedule interval), 의존성(dependency)을 체크한다는 내용이 나옵니다. 그런데 해당 페이지 중간 부분에 3. 예약된 각 태스크에 대해 스케줄러는 해당 태스크의 의존성(=업스트림 태스크)을 확인합니다. 의존성 태스크가 완료되지 않았다면 실행 대기열에 추가합니다. 이런 문장이 나와있습니다. 그런데 p.13에 나온 그림1.9랑 확인해보면 스케쥴러가 태스크 의존성이 모두 해결되었을 때 실행할 태스크를 대기열에 추가한다고 나와 있습니다. 앞뒤 내용이 다르죠. 어느 내용이 정확한지 결론부터 말씀드리면 후자(의존성이 모두 해결되었을 때 Execution Queue에 추가)가 맞습니다. (1)..
Oracle SQL 공부 도중 몰랐던 부분들을 정리하는 글. 1. WHERE 절에서 OR와 AND 연산자의 우선순위는 AND가 우위 > 이를 고려하지 않으면 원하지 않는 결과가 나올 수 있으므로, 괄호를 적극적으로 활용할 것 예를 들어서 사는 지역이 서울 또는 경기고, 성별이 남성인 사용자를 조건으로 했을때 WHERE 지역 = '서울' or 지역 = '경기' AND 성별 = '남자' 이렇게하면 의도치 않게 지역이 서울이거나, 경기면서 남자인 사용자를 고르게 된다. 2. 대표적인 와일드카드의 종류는 %, _, [], ^ 등이 있음. %는 임의의 수의 문자를 의미 _는 단 한 개의 문자를 의미 [ ]는 문자들을 하나의 집합으로 지정해 사용 예를들어, [JK]면 J또는K로 시작하는 레코드를 찾는 것 ^는 캐럿..
오라클에서는 REGEXP_LIKE,INSTR,SUBSTR,REPLACE,COUNT 등의 정규표현식 함수를 지원한다. 1. REGEXP_LIKE(source, pattern, match_parameter) LIKE 함수는 source가 정규표현식 pattern에 매칭되는지 확인한다. match_parameter는 옵션이다. SELECT PRODUCT_NAME FROM PRODUCT_TABLE WHERE REGEXP_LIKE(PRODUCT_NAME, '^A'); 위 쿼리는 PRODUCT_NAME이 'A'로 시작하는 모든 제품을 SELECT한다. 2. REGEXP_INSTR(source, pattern, position, occurrence, return_option, match_parameter) INSTR..
Dockerfile을 작성하다보면 WORKDIR도 만들게 된다. WORKDIR은 현재 작업 디렉토리를 지정해주는 것이다. 아래 Dockerfile 예시를 살펴보면 FROM node:10 WORKDIR /usr/src/app COPY ./ ./ RUN npm install CMD [ "node", "server.js" ] 위와 같은 Node.js 앱 빌드를 위한 dockerfile이 있다고 가정하자. WORKDIR을 지정해주면, 위 COPY 명령어로 현재 host system의 파일 경로에 있는 파일들을 추후 docker run 명령어 실행시, 컨테이너 내부의 WORKDIR 로 복사할 수 있게 된다. 만약 WORKDIR을 지정해주지 않으면, host system 파일을 COPY할 때 자동으로 컨테이너 ro..