목록데이터엔지니어링 (11)

홍카나의 공부방

[DE 데브코스] 06.04 TIL - 트랜잭션과 Airflow 설치

DELETE FROM vs TRUNCATE 분명 DROP까지 포함해서 삭제 쿼리문들의 차이점을 정리해놨었는데, 트랜잭션에서 레코드를 다 날려버릴 때 왜 DELETE를 쓰지? 잠시나마 고민했었다. 생각해보니 TRUNCATE가 auto commit이 되는 명령어라 트랜잭션을 이용하기 어렵겠구나하는 판단이 들었다. https://hongcana.tistory.com/102 정리본을 다시 읽어보자.. [데이터베이스] 삭제 : DELETE vs DROP vs TRUNCATE 데이터베이스 삭제 명령어 DELETE, DROP, TRUNCATE 모두 DB에서 객체를 삭제하는 데 사용하는 명령어다. 하지만 각각의 명령어는 세세한 차이점을 가지고 있다. DELETE DELETE 문은 테이블에서 특정 레코드 hongcana..
Data Engineering/프로그래머스 데브코스 2023. 6. 4. 14:35
[DE 데브코스] 05.25 TIL - Redshift 심화, Fact/Dimension/외부테이블과 View 차이점 등

Redshift 권한과 보안 일반적으로 사용자별 테이블 권한 설정은 하지 않는다. 복잡하고, 실수의 가능성이 높기 때문이다. 역할(Role) 혹은 그룹(Group) 별로 스키마 접근 권한을 주는 것이 일반적이다. Role은 계승 구조를 지원하고, Group은 그렇지 않기 때문에 역할 기반 관리가 새로운 트렌드가 된다. 아래와 같은 구조로 그룹(역할)별 권한을 설정할 수 있다. 스키마, 그룹(역할) analytics_authors analytics_users pii_users admin raw_data 테이블들 읽기 읽기 X 읽기, 쓰기 analytics 테이블들 읽기, 쓰기 읽기 X 읽기, 쓰기 adhoc 테이블들 읽기, 쓰기 읽기, 쓰기 X 읽기, 쓰기 pii 테이블들 X X 읽기 읽기, 쓰기 사용자는..
Data Engineering/프로그래머스 데브코스 2023. 5. 25. 16:06
[DE 데브코스] 05.23 TIL - Redshift, Serverless, ELT 예시

AWS Redshift 특징 OLAP 기술을 사용하므로, 응답속도가 빠르지 않기 때문에 Production DB로 사용이 불가능하다. 디스크에 데이터를 레코드 별로 저장하는 것이 아니라, 컬럼 별로 저장한다. 컬럼별 압축이 가능하며, 컬럼을 추가하거나 삭제하는 것이 아주 빠르다. 레코드가 들어있는 파일을 S3로 업로드 후, COPY 명령어로 Redshift로 일괄 복사하는 벌크 업데이트를 지원한다. 고정 비용 SQL 엔진이지만, 최근 가변 비용 옵션도 제공한다. RedShift 최적화는 비교적 복잡하다. 한 클러스터 안에 두 대 이상의 노드로 구성되면 분산 저장되어야 한다. SnowFlake나 Bigquery는 엔진이 알아서 최적화를 해주긴 하지만, redshift는 그렇지 않다. 다른 데이터 웨어하우스..
Data Engineering/프로그래머스 데브코스 2023. 5. 24. 15:18
[DE 데브코스] 04.26 TIL - Serializer

Serializer 모델 인스턴스나, QuerySet과 같은 데이터를 JSON 형식의 파일로 변환하는 작업을 Serialize라고 한다. 반대로 Deserialize는 JSON 형식의 데이터를 정의된 포맷에 맞춰 모델 인스턴스로 변환하는 작업이다. Django에서는 Serializer라는 모듈로 Serialize, Deserialize를 수행할 수 있다. 아래는 객체를 만들거나, 업데이트하는 serializer.py의 예시 코드다. Django Shell에서 Serializer를 사용하여 객체를 새로 만들 수도 있다. from rest_framework import serializers from polls.models import Question class QuestionSerializer(seriali..
Data Engineering/프로그래머스 데브코스 2023. 4. 26. 18:13
이전 Prev 1 2 3 Next 다음