일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
- 데이터베이스
- 데브코스
- HADOOP
- http
- 자료구조
- PYTHON
- S3
- 컴퓨터네트워크
- 컴퓨터 네트워크
- 데이터 엔지니어링
- sql
- linux
- AWS
- 가상환경
- 종류
- 운영체제
- 데이터 웨어하우스
- redshift
- 파이썬
- TCP
- 데이터엔지니어링
- Go
- Django
- 데이터 파이프라인
- dockerfile
- Docker
- airflow.cfg
- 정리
- airflow
- TIL
- Today
- Total
목록분류 전체보기 (183)
홍카나의 공부방

airflow.cfg에는 타임존 관련 키가 2개 존재한다. 하나는 default_timezone이고, 다른 하나는 default_ui_timezone이다. 이 키를 변경하면 한국시간 KST인 UTC+09:00에 시간을 맞출 수 있게 된다. DAG의 start_date, end_date, schedule 변수에 적힌 시간은 default_timezone에 지정된 타임존을 따른다. 그러나 DAG가 실행되는 execution_date와 기록되는 log time은 항상 UTC를 따른다. 즉, execution_date를 사용할때는 UTC와 KST를 고려하여 시간을 변환하며 이해해야 할 필요가 있다는 것이다. 현재로서는 UTC를 일관되게 사용하여 혼란을 덜어주는 것이 좋다고 판단된다.
mysql에서 null 처리법 예시 문제는 아래 참고 https://school.programmers.co.kr/learn/courses/30/lessons/59410 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 1. NULL을 WHERE 절에서 비교 문으로 사용할 때는 IS NULL, IS NOT NULL을 이용한다. ( !=, =를 이용하지 말자. ) 2. SELECT IFNULL(field이름 ,'대체할 value')를 쓰면 해당 field의 레코드 값이 NULL이면 대체할 value로 대체된다. 3. IFNULL이 만약 안되면, COALESCE로..
SQL 문을 작성할 때 일련의 순서를 따르게 된다. 예를 들어서 SELECT * FROM user_info A INNER JOIN class_info B ON A.userid = B.userid WHERE age > 20 GROUP BY 1 ORDER BY 1; 이런 식으로 SELECT, FROM, ..., ORDER BY로 순서를 지키게 된다. 그러나 실제 실행 순서는 문법의 순서와 다르다. SELECT문의 실행 순서는 1. FROM 2. JOIN, ON 3. WHERE 4. GROUP BY, HAVING 5. SELECT, DISTINCT 6. ORDER BY 이렇게 진행 된다. 외우지 말고 이해하려 해보자. 일단 FROM 절로 쿼리를 해야 하는 데이터를 쭉 가져온다. 여기서 필요하다면 JOIN과 그..
(1) 3월에 태어난 여성 회원 목록 출력하기 https://school.programmers.co.kr/learn/courses/30/lessons/131120 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr LV.2의 SQL문제다. 문제 조건에 요구하는 것이 많으므로 꼼꼼하게 읽어봐야한다. 또한 조건문에서 NULL을 비교할 때는 IS NULL 또는 IS NOT NULL을 사용해야 함을 인지하자. ( != 혹은 = 등으로 수행하지 말것) 또한 DATE_FORMAT 함수에 익숙해져서 DATE 자료형이 나올 때 당황하지 않도록 하자. SELECT MEMBER..