홍카나의 공부방

2017년 2023년 비고 Hive(Hadoop) Spark 여전히 SQL을 사용한다는건 동일 Data Warehouse Data Lake Data Mesh On-premise Cloud, Container Snowflake, BigQuery, Databricks를 주로 사용 Batch Processing Streaming Processing Spark 스트리밍, Kafka 사용 ETL 자체개발 및 운영 ETL SaaS (FiveTran) ETL SasS가 완전 대체한다기 보다는, 보완하는 형태로 Central Data Org Decentralized Data Org Citizen Data 인력의 등장 의사결정 관련한 데이터 활용 ML/AI를 이용한 제품 개선 SageMaker 등을 사용하여 여러 과정을..

내가 시도한 방법은 다음과 같다. ( 환경 : Windows Docker : Airflow ) (1) GUI 기반 방법 1. docker GUI로 들어간다. 2. airflow-webserver 컨테이너 이름을 클릭하고, Files 탭을 클릭 3. opt > airflow > airflow.cfg 더블 클릭 이후 cfg 파일을 조회, 수정하면 된다. 만약 수정했다면 save changes를 눌러 변경사항을 저장한다. (2) CLI 기반 방법 1. 윈도우 기준으로 Powershell을 켜서 docker ps로 컨테이너 목록을 확인한다. (docker desktop이 켜있어야 docker ps 명령어가 들어간다.) 2. docker exec -it -u root 652d1175ff86 sh 명령어로, 컨테이..

DELETE FROM vs TRUNCATE 분명 DROP까지 포함해서 삭제 쿼리문들의 차이점을 정리해놨었는데, 트랜잭션에서 레코드를 다 날려버릴 때 왜 DELETE를 쓰지? 잠시나마 고민했었다. 생각해보니 TRUNCATE가 auto commit이 되는 명령어라 트랜잭션을 이용하기 어렵겠구나하는 판단이 들었다. https://hongcana.tistory.com/102 정리본을 다시 읽어보자.. [데이터베이스] 삭제 : DELETE vs DROP vs TRUNCATE 데이터베이스 삭제 명령어 DELETE, DROP, TRUNCATE 모두 DB에서 객체를 삭제하는 데 사용하는 명령어다. 하지만 각각의 명령어는 세세한 차이점을 가지고 있다. DELETE DELETE 문은 테이블에서 특정 레코드 hongcana..

Docker에 설치되어 있는 Airflow에 로그인하는 방법을 살펴본다. 전제가 Docker 기반 Airflow임에 유의한다. EC2에 설치된 Airflow나 MMWA의 방법과는 다를 수 있다. 정확하게는 Airflow Scheduler 안으로 로그인하는 과정이다. docker ps 먼저 docker ps라는 명령어를 써서 컨테이너들의 아이디를 알아낸다. 저 중에 scheduler에 로그인을 해야 하고, 컨테이너 아이디는 4c51416a7578이다. docker exec -it 4c51416a7578 sh 위 아이디를 복붙하고, 컨테이너에 로그인을 하기 위해 위 명령코드를 작성해준다. 이렇게 하면 에어플로우 스케쥴러 컨테이너로 접속할 수 있을 것이다. 만약 특정 DAG의 task를 실행시키고 싶다면 다음..