일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- sql
- 정리
- 데브코스
- airflow
- Docker
- 자료구조
- AWS
- TIL
- redshift
- 운영체제
- S3
- 데이터엔지니어링
- http
- HADOOP
- Django
- 컴퓨터네트워크
- Go
- 데이터 웨어하우스
- airflow.cfg
- 컴퓨터 네트워크
- 가상환경
- 파이썬
- TCP
- 종류
- 데이터 엔지니어링
- linux
- PYTHON
- 데이터베이스
- 데이터 파이프라인
- dockerfile
- Today
- Total
목록Data Engineering (95)
홍카나의 공부방
데이터베이스에서 Primary Key(기본키, PK)는 테이블에서 하나의 레코드를 유일하게 지칭할 수 있는 필드(들)이다. RDBMS에서는 PK 값이 중복되지 않도록 유일성(uniqueness)을 보장해 준다. CREATE TABLE products ( product_id INT PRIMARY KEY, name VARCHAR(50), price decimal(7, 2) ); 관계형 DB의 쿼리를 짤 때는 위처럼 필드 명 뒤에 PRIMARY KEY를 지정해 주거나, PRIMARY KEY (product_id, name)으로 다수의 필드를 PK로 지정해 줄 수 있다. (이러면 정규화 측면에서 부분 함수 종속 등이 발생할 수 있지만, 이 글에서는 논외로 한다.) 단, 데이터 웨어하우스들은 기본키 유일성을 보장..
airflow.cfg에는 타임존 관련 키가 2개 존재한다. 하나는 default_timezone이고, 다른 하나는 default_ui_timezone이다. 이 키를 변경하면 한국시간 KST인 UTC+09:00에 시간을 맞출 수 있게 된다. DAG의 start_date, end_date, schedule 변수에 적힌 시간은 default_timezone에 지정된 타임존을 따른다. 그러나 DAG가 실행되는 execution_date와 기록되는 log time은 항상 UTC를 따른다. 즉, execution_date를 사용할때는 UTC와 KST를 고려하여 시간을 변환하며 이해해야 할 필요가 있다는 것이다. 현재로서는 UTC를 일관되게 사용하여 혼란을 덜어주는 것이 좋다고 판단된다.
mysql에서 null 처리법 예시 문제는 아래 참고 https://school.programmers.co.kr/learn/courses/30/lessons/59410 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 1. NULL을 WHERE 절에서 비교 문으로 사용할 때는 IS NULL, IS NOT NULL을 이용한다. ( !=, =를 이용하지 말자. ) 2. SELECT IFNULL(field이름 ,'대체할 value')를 쓰면 해당 field의 레코드 값이 NULL이면 대체할 value로 대체된다. 3. IFNULL이 만약 안되면, COALESCE로..
SQL 문을 작성할 때 일련의 순서를 따르게 된다. 예를 들어서 SELECT * FROM user_info A INNER JOIN class_info B ON A.userid = B.userid WHERE age > 20 GROUP BY 1 ORDER BY 1; 이런 식으로 SELECT, FROM, ..., ORDER BY로 순서를 지키게 된다. 그러나 실제 실행 순서는 문법의 순서와 다르다. SELECT문의 실행 순서는 1. FROM 2. JOIN, ON 3. WHERE 4. GROUP BY, HAVING 5. SELECT, DISTINCT 6. ORDER BY 이렇게 진행 된다. 외우지 말고 이해하려 해보자. 일단 FROM 절로 쿼리를 해야 하는 데이터를 쭉 가져온다. 여기서 필요하다면 JOIN과 그..