목록best practices (1)

홍카나의 공부방

[DE] 데이터 파이프라인의 종류와 만들 때 고려할 점들

Raw Data ETL jobs 내부 혹은 외부 데이터 소스에서 데이터를 읽어서, 적당한 포맷 변환을 거친 뒤 데이터 웨어하우스에 로드하는 것 외부 데이터 소스는 많은 경우 API를 통하게 된다. 내부 데이터 소스는 내부 ProductionDB(MySQL 등)이 원천지가 된다. Transform 단계에서 데이터의 크기가 커지면 Spark 등의 빅데이터 처리 프레임워크가 필요해진다. Summary/Report Jobs DW(혹은 DL)로부터 데이터를 읽어 다시 DW에 쓰는 ETL 과정이다. Raw Data를 읽어서 일종의 리포트 형태나 요약 형태의 테이블을 다시 만드는 용도로 수행한다. 요약 테이블의 경우 SQL의 CTAS를 통해 만들 수 있다. 데이터 엔지니어 관점에서는 어떻게 데이터 분석가들이 편하게 ..
Data Engineering/Airflow 2023. 5. 29. 11:07
이전 Prev 1 Next 다음