목록데이터 파이프라인 (3)

홍카나의 공부방

데이터 엔지니어링 트렌드와 변화

2017년 2023년 비고 Hive(Hadoop) Spark 여전히 SQL을 사용한다는건 동일 Data Warehouse Data Lake Data Mesh On-premise Cloud, Container Snowflake, BigQuery, Databricks를 주로 사용 Batch Processing Streaming Processing Spark 스트리밍, Kafka 사용 ETL 자체개발 및 운영 ETL SaaS (FiveTran) ETL SasS가 완전 대체한다기 보다는, 보완하는 형태로 Central Data Org Decentralized Data Org Citizen Data 인력의 등장 의사결정 관련한 데이터 활용 ML/AI를 이용한 제품 개선 SageMaker 등을 사용하여 여러 과정을..
Data Engineering 2023. 6. 5. 15:36
[DE] 데이터 파이프라인의 종류와 만들 때 고려할 점들

Raw Data ETL jobs 내부 혹은 외부 데이터 소스에서 데이터를 읽어서, 적당한 포맷 변환을 거친 뒤 데이터 웨어하우스에 로드하는 것 외부 데이터 소스는 많은 경우 API를 통하게 된다. 내부 데이터 소스는 내부 ProductionDB(MySQL 등)이 원천지가 된다. Transform 단계에서 데이터의 크기가 커지면 Spark 등의 빅데이터 처리 프레임워크가 필요해진다. Summary/Report Jobs DW(혹은 DL)로부터 데이터를 읽어 다시 DW에 쓰는 ETL 과정이다. Raw Data를 읽어서 일종의 리포트 형태나 요약 형태의 테이블을 다시 만드는 용도로 수행한다. 요약 테이블의 경우 SQL의 CTAS를 통해 만들 수 있다. 데이터 엔지니어 관점에서는 어떻게 데이터 분석가들이 편하게 ..
Data Engineering/Airflow 2023. 5. 29. 11:07
[DE 개념 정리] 데이터 파이프라인 개요, ETL과 ELT

데이터 파이프라인이란? 다양한 소스에서 새로운 가치를 얻을 수 있게끔 데이터를 옮기고, 변환하는 일련의 과정을 의미한다. 쉽게 이야기하면 소스에서 목적지로 데이터를 옮기거나, 복사하는 작업이다. 통계 분석, 리포팅, 머신러닝 분석에 필요한 선행 과정이다. 단순한 형태의 데이터 파이프라인은? REST API처럼 단일 소스에서 데이터를 추출하여 S3와 같은 데이터 레이크(스토리지)에 저장하고, 이를 데이터 웨어하우스에 로드하는 것이 단순한 데이터 파이프라인 구조의 예시다. 그러나 모든 데이터 파이프라인이 이처럼 간단하진 않다. 데이터 추출, 데이터 가공, 데이터 유효성 검사 단계를 포함할 수도 있고, 때로는 데이터를 최종 목적지로 전달하기 전에 머신러닝 모델링을 거치는 단계도 존재할 수 있다. 소스 데이터를..
Data Engineering 2023. 5. 22. 16:05
이전 Prev 1 Next 다음