일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 데이터베이스
- HADOOP
- Go
- AWS
- S3
- 가상환경
- sql
- 정리
- 데이터 웨어하우스
- airflow.cfg
- 파이썬
- 자료구조
- TCP
- linux
- redshift
- 컴퓨터 네트워크
- airflow
- 데이터 엔지니어링
- PYTHON
- dockerfile
- Docker
- 데이터엔지니어링
- Django
- http
- 데이터 파이프라인
- 데브코스
- 컴퓨터네트워크
- 종류
- TIL
- 운영체제
- Today
- Total
목록Data Engineering/프로그래머스 데브코스 (28)
홍카나의 공부방
Route 53 도메인 등록, DNS 라우팅, 상태 확인을 할 수 있는 DNS 웹 서비스다. 가비아, Cafe24가 아닌 AWS 내부에서도 도메인을 구입할 수 있다. 도메인을 구입했다면, 호스팅 영역 생성을 눌러 호스팅 영역을 만들 수 있다. 만약 타 사이트에서 도메인을 구입했다면, 네임서버 주소를 해당 사이트에서 제공하는 주소로 바꿔주면 된다. 레코드 생성으로 서브 도메인을 만들어줄 수도 있다. DocumentDB SQL과 NoSQL은 DBMS의 두 가지 주요 유형이다. SQL은 관계형 데이터베이스(RDBMS)를 위한 기술을 의미하고, NoSQL은 비관계형 DBMS를 위한 기술이다. AWS에서는 NoSQL 기반의 DocumentDB와 DynamoDB를 제공한다. DocumentDB는 Document 데..
클라우드 컴퓨팅 IT 자원을 인터넷을 통해 on-demand로 제공받고 사용한 만큼 비용을 지불하는 방식이다. 물리적 데이터 센터와 서버를 구입하고 유지관리하는 것보다 초기 자본/시간적 비용을 훨씬 절감할 수 있다. 클라우드 유형으로는 온프레미스, IAAS, PAAS, SAAS로 구분된다. 구분 기준은 CSP로부터 어느 서비스까지 제공받느냐에 따라 달라진다. EC2와 인스턴스 생성 AWS에서 사용할 수 있는 가상의 컴퓨터 한 대를 대여할 수 있는 서비스다. EC2에서는 여러 개의 인스턴스를 만들 수 있으며, 각각의 인스터스는 가상 컴퓨팅 환경을 의미한다. 이번 글에서는 실습을 진행한다. 크게 순서는 상관없지만, 인스턴스를 할당 받기 전에 키 페어를 받아보자 인스턴스를 할당 받기 전에 키 페어를 받아보자...
JOIN이란? 여러 테이블의 공통 필드를 가지고 병합하는 데 사용하는 명령어다. 여러 테이블로 분산되어 있던 정보를 통합하는 목적으로 사용한다. 조인 방식에 따라서 어떤 레코드들이 선택되는지, 어떤 필드들이 채워지는지 달라진다. 아래 도식화된 JOIN 종류를 보면 쉽게 이해할 수 있다. 일반적으로 외래키를 조인 속성으로 사용한다. 연결하려는 테이블의 조인 속성 이름은 달라도 되나, 데이터 타입(도메인)은 일치해야 한다. 같은 이름의 속성이 서로 다른 테이블에 존재할 수 있기 때문에 속성 이름 앞에 해당 속성이 소속된 테이블의 이름을 표시한다. CROSS JOIN INNER, LEFT, RIGHT, FULL OUTER 말고도 CROSS JOIN이란 방식도 존재한다. 이는 카티션 프로덕트(Cartesian ..
GROUP BY와 Aggregate Function 테이블의 레코드를 그룹으로 묶어 그룹별로 다양한 정보를 계산할 수 있다. (1) 그룹핑할 필드를 하나 이상의 필드로 먼저 결정하고 (2) COUNT, SUM, AVG 등의 Aggregate 함수를 이용하여 그룹별로 연산을 진행한다. GROUP BY 1은 이름에 관계없이 첫 번째 컬럼으로 그룹화하는 것을 의미한다. (ORDER BY도 마찬가지) 아래 코드 같은 경우, SELECT 절의 첫 번째 컬럼인 mon을 기준으로 그룹핑, 정렬(오름차순)을 하겠다는 뜻. SELECT LEFT(ts, 7) AS mon, COUNT(1) AS session_count FROM raw_data.session_timestamp GROUP BY 1 ORDER BY 1; SQL..