일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- HADOOP
- PYTHON
- 데브코스
- 데이터엔지니어링
- 데이터 엔지니어링
- 컴퓨터네트워크
- dockerfile
- airflow
- sql
- http
- Django
- Docker
- TCP
- 컴퓨터 네트워크
- 운영체제
- 자료구조
- linux
- S3
- 파이썬
- 데이터 파이프라인
- 가상환경
- 정리
- AWS
- airflow.cfg
- Go
- 데이터 웨어하우스
- 종류
- TIL
- 데이터베이스
- redshift
- Today
- Total
목록Cloud Engineering (8)
홍카나의 공부방
네이버 클라우드 서버에 SFTP로 연결하는 본격적인 방법 설명 이전에 FTP와 SFTP의 개념, 차이점에 대해서 간단히 짚고 넘어가자. FTP와 SFTP FTP(File Transfer Protocol)와 SFTP는 모두 파일을 전송하기 위해 사용되는 네트워크 프로토콜이다. 두 프로토콜의 큰 차이점은 보안 측면에 있다. FTP는 데이터 전송시 평문으로 전송되어 암호화되지 않아서 제3자가 내용을 가로챌 수 있다는 취약점이 있다. SFTP는 SSH(Secure Shell)프로토콜을 사용하여 모든 데이터를 암호화하므로, 데이터 전송 과정에서 보안을 제공한다. FTP가 암호화 과정이 없기 때문에 보안 취약점이 발생할 수 있는 가능성이 크므로, 파일 전송시 SFTP를 사용하려고 한다. CyberDuck SFT..
Security Group과 NACL Security Gropu이랑 NACL(Network Access Control List)은 모두 인스턴스로의 트래픽을 제어하는 역할을 한다. 그러나 세부적으로는 여러 차이점이 존재한다. 1. 적용 범위 Security Group : 인스턴스 수준으로 적용되고, 각 EC2 인스턴스마다 한 개 이상의 보안 그룹을 설정할 수 있다. NACL : 서브넷 수준에서 적용되고, 각 서브넷에 하나의 NACL이 적용된다. 서브넷 내부의 모든 인스턴스가 적용받는다. 2. 허용 규칙 Security Group : 모든 allow rule을 지원한다. NACL : ALLOW 규칙과 DENY 규칙을 지원한다. 3. 상태 Security Group : 상태기반(Stateful)이다. 만약,..
AWS Lambda Lambda는 가상함수로, 관리할 서버가 필요 없는 서버리스(serverless) 서비스이다. 제한 실행 시간은 최대 15분이고, 호출을 받으면 on-demand로 실행되는 구조다. 람다 함수는 필요에 따라 자동으로 Scaling 될 수 있고, 최대 10기가의 램을 프로비저닝할 수 있다. 프리 티어에서도 Lambda 호출을 1백만 회 무료로 사용할 수 있고, 이후에는 1백만 요청당 $0.20가 과금된다. 컨테이너 이미지로도 람다를 사용할 수 있는데, 이때 이미지는 Lambda Runtime API가 구현되어 있어야 한다. (그렇지 않으면 ECS/Fargate를 대신하여 사용한다.) Lambda 함수의 통합 Lambda 함수는 다음과 같은 AWS 서비스와 함께 사용될 수 있다. API ..
Server-Side Encryption (SSE) - SSE-S3, SSE-KMS, SSE-C가 있다. - 어떤 성황에 어떤 암호화 방식을 사용하는지 이해해야 한다. SSE-S3 - AWS가 암호화 키를 관리하고, 사용자는 접근할 수 없다. - 암호화 타입은 AES-256이다. - HTTP(S) 요청시 헤더에 "x-amz-server-side-encryption":"AES256"을 설정해야 한다. - 기본적으로는 새로운 버켓과 새로운 객체에 암호화가 활성된다. 자세한 SSE-S3 내용에 대해서는 다음 공식 문서를 참고한다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/UsingServerSideEncryption.html Amazon S3 ..