목록S3 (3)

홍카나의 공부방

[AWS] S3 객체 암호화

Server-Side Encryption (SSE) - SSE-S3, SSE-KMS, SSE-C가 있다. - 어떤 성황에 어떤 암호화 방식을 사용하는지 이해해야 한다. SSE-S3 - AWS가 암호화 키를 관리하고, 사용자는 접근할 수 없다. - 암호화 타입은 AES-256이다. - HTTP(S) 요청시 헤더에 "x-amz-server-side-encryption":"AES256"을 설정해야 한다. - 기본적으로는 새로운 버켓과 새로운 객체에 암호화가 활성된다. 자세한 SSE-S3 내용에 대해서는 다음 공식 문서를 참고한다. https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/UsingServerSideEncryption.html Amazon S3 ..
Data Engineering/AWS 2024. 2. 21. 13:10
[AWS] 다른 계정의 Redshift로 나의 S3 버킷 파일을 적재하고 싶을때

https://repost.aws/ko/knowledge-center/redshift-s3-cross-account Amazon Redshift의 다른 계정에서 데이터를 복사하거나 언로드합니다. Amazon Redshift와 다른 계정에 있는 Amazon Simple Storage Service(S3) 버킷 간에 데이터를 COPY 또는 UNLOAD하려고 합니다. 하지만 다른 계정에서 AWS Identity and Access Management(IAM) 역할을 수임할 수 없습니다. 교 repost.aws 이 글을 따라하면 된다. 1. Amazon S3 계정에서 IAM 역할인 RoleA를 생성합니다. 2. RoleA를 수임할 권한이 있는 Amazon Redshift 계정에서 IAM 역할 RoleB를 생성합..
Data Engineering 2023. 5. 31. 15:00
REST API에서 데이터 추출하기 파이썬 예제

REST API에서 데이터를 추출하는 것은 흔한 방법이다. 다음의 간단한 패턴과 파이썬 코드 예제로 살펴본다. 패턴 API에 HTTP GET Request를 보낸다. JSON Format일 가능성이 높은 Response를 받는다. 응답을 파싱하고 추후 스토리지나 데이터베이스에 로드할 수 있는 CSV 파일로 변환한다. * 데이터를 데이터 웨어하우스에 적재하기 위해 JSON 형식으로 저장할 수도 있지만, 이 글에서는 CSV 파일을 이용하겠다. 예제 이 글에서는 Open Notify라는 API에 연결하겠다. 그중에서도 국제우주정거장(ISS)의 현 위치를 return 하는 API를 이용하겠다. http://open-notify.org/Open-Notify-API/ISS-Location-Now/ JSON 데이터는..
Data Engineering 2023. 5. 13. 17:18
이전 Prev 1 Next 다음