홍카나의 공부방

에어플로우 한글 책 p.12에서 Airflow의 스케쥴러가 DAG 내용을 파싱해서 task간 예약 주기(schedule interval), 의존성(dependency)을 체크한다는 내용이 나옵니다. 그런데 해당 페이지 중간 부분에 3. 예약된 각 태스크에 대해 스케줄러는 해당 태스크의 의존성(=업스트림 태스크)을 확인합니다. 의존성 태스크가 완료되지 않았다면 실행 대기열에 추가합니다. 이런 문장이 나와있습니다. 그런데 p.13에 나온 그림1.9랑 확인해보면 스케쥴러가 태스크 의존성이 모두 해결되었을 때 실행할 태스크를 대기열에 추가한다고 나와 있습니다. 앞뒤 내용이 다르죠. 어느 내용이 정확한지 결론부터 말씀드리면 후자(의존성이 모두 해결되었을 때 Execution Queue에 추가)가 맞습니다. (1)..

Security Group과 NACL Security Gropu이랑 NACL(Network Access Control List)은 모두 인스턴스로의 트래픽을 제어하는 역할을 한다. 그러나 세부적으로는 여러 차이점이 존재한다. 1. 적용 범위 Security Group : 인스턴스 수준으로 적용되고, 각 EC2 인스턴스마다 한 개 이상의 보안 그룹을 설정할 수 있다. NACL : 서브넷 수준에서 적용되고, 각 서브넷에 하나의 NACL이 적용된다. 서브넷 내부의 모든 인스턴스가 적용받는다. 2. 허용 규칙 Security Group : 모든 allow rule을 지원한다. NACL : ALLOW 규칙과 DENY 규칙을 지원한다. 3. 상태 Security Group : 상태기반(Stateful)이다. 만약,..

AWS Lambda Lambda는 가상함수로, 관리할 서버가 필요 없는 서버리스(serverless) 서비스이다. 제한 실행 시간은 최대 15분이고, 호출을 받으면 on-demand로 실행되는 구조다. 람다 함수는 필요에 따라 자동으로 Scaling 될 수 있고, 최대 10기가의 램을 프로비저닝할 수 있다. 프리 티어에서도 Lambda 호출을 1백만 회 무료로 사용할 수 있고, 이후에는 1백만 요청당 $0.20가 과금된다. 컨테이너 이미지로도 람다를 사용할 수 있는데, 이때 이미지는 Lambda Runtime API가 구현되어 있어야 한다. (그렇지 않으면 ECS/Fargate를 대신하여 사용한다.) Lambda 함수의 통합 Lambda 함수는 다음과 같은 AWS 서비스와 함께 사용될 수 있다. API ..

Server-Side Encryption (SSE) - SSE-S3, SSE-KMS, SSE-C가 있다. - 어떤 성황에 어떤 암호화 방식을 사용하는지 이해해야 한다. SSE-S3 - AWS가 암호화 키를 관리하고, 사용자는 접근할 수 없다. - 암호화 타입은 AES-256이다. - HTTP(S) 요청시 헤더에 "x-amz-server-side-encryption":"AES256"을 설정해야 한다. - 기본적으로는 새로운 버켓과 새로운 객체에 암호화가 활성된다. 자세한 SSE-S3 내용에 대해서는 다음 공식 문서를 참고한다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/UsingServerSideEncryption.html Amazon S3 ..