일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- sql
- Docker
- redshift
- 데이터 엔지니어링
- 컴퓨터네트워크
- HADOOP
- TCP
- PYTHON
- 파이썬
- http
- airflow.cfg
- AWS
- Go
- 데브코스
- 정리
- 데이터엔지니어링
- S3
- 데이터 웨어하우스
- airflow
- Django
- dockerfile
- linux
- 컴퓨터 네트워크
- 데이터 파이프라인
- 종류
- 데이터베이스
- 가상환경
- 자료구조
- 운영체제
- TIL
- Today
- Total
목록AWS (11)
홍카나의 공부방

Amazon Aurora(오로라) - AWS에서 자체적으로 구축한 RDBMS로, 오픈소스는 아니지만 Postgres와 MySQL과 호환된다. ( 즉, Aurora 데이터베이스에 호환되는 driver가 Postgres와 MySQL에서도 작동한다는 의미다. ) - MySQL는 5개이지만 Aurora는 15개의 읽기 전용 복제본(replica)을 둘 수 있으며, 복제 속도도 빠르다. - 다른 RDS 보다 비용이 20% 높지만, 효율성은 그 이상의 값어치를 한다. - 오로라는 높은 가용성(High Availability)과 읽기 스케일링(Read Scaling)이라는 특징이 있다. - 오로라는 write할 때마다 3개의 AZ에 걸쳐 6개의 사본(Data Copies)을 저장한다. - 하나의 인스턴스만이 Mast..

Elastic Block Storage(EBS) - EBS 볼륨은 한 번에 하나의 인스턴스에만 attach할 수 있다. ( io1/io2의 multi-attach case 제외 ) - 그리고 EBS 볼륨은 하나의 Availability Zone(AZ) 수준에서 한정된다. - 따라서 다른 AZ에서도 특정 EBS 볼륨을 사용하려면, 먼저 기존 AZ에 존재하던 EBS 볼륨의 스냅샷을 만들고, 해당 EBS 스냅샷을 바탕으로 다른 AZ의 EBS 볼륨을 만들면 된다. - EC2 인스터스의 루트 EBS 볼륨은 EC2 인스턴스가 종료되면 기본적으로 종료된다. ( 물론 비활성화 가능 ) - EBS 볼륨은 하나의 네트워크 저장장치(network drive)라고 생각하면 된다. 실제 물리적인 연결은 없지만, 가상으로 특정 ..

EC2에서 새로운 인스턴스를 런칭할 때, 다양한 Usecase에 맞게 최적화된 인스턴스 유형을 선택할 수 있다. 인스턴스 타입 관련 AWS의 공식 docs는 다음의 링크를 참조한다. https://aws.amazon.com/ec2/instance-types/?nc1=h_ls 컴퓨팅 - Amazon EC2 인스턴스 유형 - AWS aws.amazon.com 네이밍 컨벤션 m6.2xlarge 특정 인스턴스 유형을 선택하기 이전에, 인스턴스 유형의 이름이 어떻게 지어지는지 알아보자. m : 인스턴스 클래스를 지정한다. m의 경우, 균형 있는 컴퓨팅, 메모리 및 네트워킹 리소스를 제공하는 범용 인스턴스다. 6 : 인스턴스의 세대를 의미한다. AWS가 새로운 세대의 하드웨어를 출시할 때마다 숫자가 높아진다. 2x..
https://repost.aws/ko/knowledge-center/redshift-s3-cross-account Amazon Redshift의 다른 계정에서 데이터를 복사하거나 언로드합니다. Amazon Redshift와 다른 계정에 있는 Amazon Simple Storage Service(S3) 버킷 간에 데이터를 COPY 또는 UNLOAD하려고 합니다. 하지만 다른 계정에서 AWS Identity and Access Management(IAM) 역할을 수임할 수 없습니다. 교 repost.aws 이 글을 따라하면 된다. 1. Amazon S3 계정에서 IAM 역할인 RoleA를 생성합니다. 2. RoleA를 수임할 권한이 있는 Amazon Redshift 계정에서 IAM 역할 RoleB를 생성합..