일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- AWS
- 데이터엔지니어링
- 정리
- 종류
- 데이터베이스
- 파이썬
- sql
- 자료구조
- 데이터 엔지니어링
- PYTHON
- airflow.cfg
- http
- airflow
- Go
- 가상환경
- redshift
- 운영체제
- S3
- 데이터 파이프라인
- Django
- TCP
- 데이터 웨어하우스
- Docker
- 컴퓨터 네트워크
- 컴퓨터네트워크
- 데브코스
- HADOOP
- TIL
- dockerfile
- linux
- Today
- Total
목록분류 전체보기 (183)
홍카나의 공부방
CREATE TABLE IF NOT EXISTS order_summary_daily ( order_date date, order_country varchar(16), total_revenue numeric, order_count int ); 위와 같은 쿼리로 테이블을 하나 만들었다고 가정하자. 그리고 특정 월에 특정 국가에서 발생한 주문으로 발생한 수익을 확인하고 싶다고 할 때, -- 특정 월에 특정 국가에서 발생한 주문으로 발생한 수익은 얼마인가? SELECT date_format(order_date, '%m') as order_month, -- MID(order_date, 6, 2) as order_month, order_country, SUM(total_revenue) as order_revenue..
정규화(Normalization) 요약 사실상 DB(스키마) 설계를 완성하는 마지막 단계 각종 이상 현상(삽입 이상, 갱신 이상, 삭제 이상)을 해결하면서 데이터베이스 설계를 올바르게 해가는 과정이다. 이상 현상이 발생하지 않도록 테이블을 분해하는 과정이다. 함수 종속(Functional Dependency) 위와 같은 이상(anomal) 현상의 원인은 속성들 간에 존재하는 여러 종속관계를 하나의 테이블에 표현함에 있다. 정규화는 함수적 종속성을 판단하여 수행하게 된다. 이 함수적 종속성이란 속성들 간의 관련성을 이야기한다. 결정자인 X와 종속자인 Y는 특정 테이블 내 속성들의 부분집합이다. X가 Y를 함수적으로 결정한다는 것은, 테이블의 모든 레코드에 대하여 하나의 X값에 대한 Y값은 항상 하나라는 점..
ClassMethod StaticMethod처럼 클래스의 인스턴스 없이 호출할 수 있다는 점은 동일하다. ClassMethod는 메소드 안에서 클래스 속성이나 메소드에 접근해야 할 때 사용한다. 클래스 메소드는 다음 코드처럼 메소드 위에 @classmethod를 붙인다. 그리고 첫 번째 매개변수에 cls를 지정해야 한다. ( 두번째 메소드 부터는 상관없다. ) 앞에 @이 붙은 것을 데코레이터라고 하며, 메소드에 추가 기능을 구현할 때 사용한다. 위 매개변수에서 cls가 해당 class를 의미하는 것이다. class User: total = 0 # __init__에 만들어주지 않았으므로, 클래스 속성 def __init__(self): User.total += 1 # 인스턴스가 만들어질 때 class 속성..
DB - 디스크와 메인 메모리 일반적으로 데이터베이스의 데이터는 디스크에 상주한다. 그래서 트랜잭션이 데이터베이스의 데이터를 처리하기 위해서는 데이터를 디스크에서 메인 메모리로 가져와서 연산을 진행한 다음 그 결과를 디스크로 보내는 작업이 필요하다. 디스크에서 메모리로 데이터를 읽어들이는 input() 연산의 경우, 연산을 뒤로 미루지 않는다. 예를 들어 우리가 SELECT 문으로 디스크에 있는 데이터를 조회해야 할 때, output() 연산처럼 이를 미루지 않고 바로 읽어들인다는 것(On-demand)이다. 단, 메모리에서 디스크로 데이터를 저장하는 output() 연산의 경우, 그 즉시 일어나지 않고 DBMS의 버퍼 관리자(Buffer Manager)가 처리한다. DB 장애 모순의 이유로 DB에서 장..