Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- AWS
- Docker
- Go
- airflow
- 가상환경
- S3
- 정리
- TIL
- 컴퓨터 네트워크
- airflow.cfg
- sql
- dockerfile
- linux
- 파이썬
- 데이터 파이프라인
- 데이터 웨어하우스
- PYTHON
- 데이터 엔지니어링
- redshift
- HADOOP
- 데이터베이스
- 데브코스
- 종류
- TCP
- 자료구조
- 운영체제
- 데이터엔지니어링
- Django
- 컴퓨터네트워크
- http
Archives
- Today
- Total
목록클라우드 (1)
홍카나의 공부방
[DE 개념 정리] 데이터 웨어하우스와 클라우드, AWS Redshift
데이터 웨어하우스 여전히 SQL 기반 관계형 데이터베이스의 형태지만, 프로덕션 데이터베이스와 별도로 저장되는 DB다. 회사에 필요한 모든 데이터를 저장하는 DB다. (분석용으로 자주 쓰이는 DB인거지, 분석용 DB요! 라고 답변하면.. 망함) 보통 프로덕션 DB로 만들어놓은 MySQL을 복사하여 AWS Redshfit, BigQuery, Snowflake 등으로 별도 저장한다. 데이터 웨어하우스는 OLAP(Online Analytical Processing) 방법론을 이용하여 분석할 수 있다. 데이터 웨어하우스는 서비스 운영이 아닌 기업 내부의 팀을 위한 데이터 집계/분석/요약용 데이터베이스이므로, 처리속도가 아닌 처리 데이터의 크기가 더 중요해진다. 외부에 존재하는 데이터를 읽어다가 데이터 웨어하우스로..
Data Engineering
2023. 5. 8. 14:43