Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- http
- 데이터 웨어하우스
- 가상환경
- linux
- 데이터 파이프라인
- Go
- 컴퓨터네트워크
- TIL
- 데이터베이스
- 종류
- TCP
- Django
- PYTHON
- 데브코스
- sql
- 데이터 엔지니어링
- Docker
- airflow
- HADOOP
- 컴퓨터 네트워크
- 운영체제
- 정리
- 파이썬
- dockerfile
- airflow.cfg
- 자료구조
- AWS
- S3
- redshift
- 데이터엔지니어링
Archives
- Today
- Total
목록데이터 레이크 (1)
홍카나의 공부방

데이터 웨어하우스, 데이터 마트, 데이터 레이크는 모두 데이터 관리 시스템이지만, 각각의 특징과 목적은 다르다. 데이터 웨어하우스 데이터 웨어하우스는 조직 전체의 데이터를 통합하여 저장하는 데이터 관리 시스템이다. 일반적인 RDB와는 달리 대량의 데이터를 길게 보존하는 것에 최적화 되어있다. 데이터 웨어하우스는 중요한 데이터 처리에 사용되기 때문에 과부하를 적게 주는 것이 중요하다. 데이터 웨어하우스에서 필요한 데이터만을 추출하여 데이터 마트(data mart)를 구축하기도 한다. 데이터 웨어하우스의 데이터는 리포팅 및 분석 쿼리를 위해 정형화(구조화)되고, 최적화되어야 한다. 데이터 마트 데이터 마트는 데이터 웨어하우스에서 ETL을 거쳐 업무에 필요한 데이터만을 추출하여 구성한 데이터 저장소다. 데이터..
Data Engineering
2023. 4. 23. 21:53