Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터베이스
- redshift
- 데이터 파이프라인
- 가상환경
- 데브코스
- TIL
- 자료구조
- 컴퓨터 네트워크
- PYTHON
- airflow
- AWS
- 데이터엔지니어링
- 파이썬
- TCP
- linux
- sql
- S3
- Docker
- http
- 데이터 웨어하우스
- 정리
- 컴퓨터네트워크
- Go
- 운영체제
- Django
- HADOOP
- 데이터 엔지니어링
- airflow.cfg
- dockerfile
- 종류
Archives
- Today
- Total
목록Iceberg+spark (1)
홍카나의 공부방
데이터 웨어하우스 옵션들
살펴볼 옵션들 AWS Redshift Snowflake BigQuery Apache Hive, Presto Apache Iceberg+Spark Iceberg는 스토리지에 가깝긴 하다. AWS Redshift PB 스케일 데이터 분산 처리가 가능한 AWS 기반 데이터 웨어하우스다. PostgreSQL과 호환된다. CSV, JSON, Avro, Parquet 등 다양한 데이터 포맷을 지원한다. S3, RDS, DynamoDB와 같은 AWS 서비스들과 연동이 쉽다. 배치 데이터 중심이지만, 실시간 데이터 처리도 지원한다고 한다. Snowflake 클라우드 기반 데이터 웨어하우스다. ETL과 다양한 데이터 통합 기능을 제공한다. SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해준다. 비구조화된 데이터..
Data Engineering
2023. 5. 22. 16:24