일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 데브코스
- redshift
- PYTHON
- 운영체제
- HADOOP
- S3
- Django
- AWS
- 알고리즘
- 데이터 엔지니어링
- dockerfile
- 데이터엔지니어링
- 컴퓨터 네트워크
- 데이터 파이프라인
- TIL
- 컴퓨터네트워크
- TCP
- http
- Docker
- airflow
- 데이터 웨어하우스
- 구조
- UDP
- 가상환경
- 파이썬
- 데이터베이스
- 종류
- sql
- 정리
- airflow.cfg
- Today
- Total
목록전체 글 (165)
홍카나의 공부방
AWS Lambda Lambda는 가상함수로, 관리할 서버가 필요 없는 서버리스(serverless) 서비스이다. 제한 실행 시간은 최대 15분이고, 호출을 받으면 on-demand로 실행되는 구조다. 람다 함수는 필요에 따라 자동으로 Scaling 될 수 있고, 최대 10기가의 램을 프로비저닝할 수 있다. 프리 티어에서도 Lambda 호출을 1백만 회 무료로 사용할 수 있고, 이후에는 1백만 요청당 $0.20가 과금된다. 컨테이너 이미지로도 람다를 사용할 수 있는데, 이때 이미지는 Lambda Runtime API가 구현되어 있어야 한다. (그렇지 않으면 ECS/Fargate를 대신하여 사용한다.) Lambda 함수의 통합 Lambda 함수는 다음과 같은 AWS 서비스와 함께 사용될 수 있다. API ..
Server-Side Encryption (SSE) - SSE-S3, SSE-KMS, SSE-C가 있다. - 어떤 성황에 어떤 암호화 방식을 사용하는지 이해해야 한다. SSE-S3 - AWS가 암호화 키를 관리하고, 사용자는 접근할 수 없다. - 암호화 타입은 AES-256이다. - HTTP(S) 요청시 헤더에 "x-amz-server-side-encryption":"AES256"을 설정해야 한다. - 기본적으로는 새로운 버켓과 새로운 객체에 암호화가 활성된다. 자세한 SSE-S3 내용에 대해서는 다음 공식 문서를 참고한다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/UsingServerSideEncryption.html Amazon S3 ..
CNAME 레코드 - CNAME 레코드는 호스트 이름이 다른 호스트 이름으로 향하도록 만들 수 있다. - 예를 들어, hongik.ac.kr이 classnet.hongik.ac.kr으로 향하게 만들 수 있다. - ROOT DOMAIN 이름이 아닌 경우에만 가능하다. 즉 위처럼 hongik.ac.kr 앞에 하위 도메인 이름을 붙여야 한다! Alias 레코드 - 별칭(Alias) 레코드는 Route 53에 특화된 가상의 레코드다. - 호스트 이름이 특정 AWS 리소스로 향하게 할 수 있으며, Root DOMAIN과 NON ROOT DOMAIN에 모두 사용 가능하다. - 무료고, 자체적인 health check 기능을 제공한다. - AWS 리소스를 위한 별칭 레코드의 타입은 항상 A 또는 AAAA이다. (IP..
Amazon Aurora(오로라) - AWS에서 자체적으로 구축한 RDBMS로, 오픈소스는 아니지만 Postgres와 MySQL과 호환된다. ( 즉, Aurora 데이터베이스에 호환되는 driver가 Postgres와 MySQL에서도 작동한다는 의미다. ) - MySQL는 5개이지만 Aurora는 15개의 읽기 전용 복제본(replica)을 둘 수 있으며, 복제 속도도 빠르다. - 다른 RDS 보다 비용이 20% 높지만, 효율성은 그 이상의 값어치를 한다. - 오로라는 높은 가용성(High Availability)과 읽기 스케일링(Read Scaling)이라는 특징이 있다. - 오로라는 write할 때마다 3개의 AZ에 걸쳐 6개의 사본(Data Copies)을 저장한다. - 하나의 인스턴스만이 Mast..