일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 운영체제
- AWS
- HADOOP
- S3
- 컴퓨터 네트워크
- Django
- 자료구조
- 종류
- http
- linux
- dockerfile
- redshift
- 가상환경
- sql
- 데이터엔지니어링
- 데이터베이스
- PYTHON
- TCP
- 데이터 엔지니어링
- 파이썬
- airflow.cfg
- airflow
- 컴퓨터네트워크
- 데이터 웨어하우스
- 정리
- 데이터 파이프라인
- Go
- Docker
- 데브코스
- TIL
- Today
- Total
목록TIL (15)
홍카나의 공부방
AWS Lambda 내가 만든 함수만 등록해서 서비스를 할 수 있게 만들어주는 서버리스 서비스를 Lambda라고 한다. 위 그림처럼 특정 람다 함수를 생성하고, 테스트를 해보면 된다. 어떤 이벤트가 일어날 때, 특정 람다를 실행시켜 달라는 트리거를 만들 수도 있다. 코드는 웹 상의 편집기에서 추가 및 수정을 진행한 다음 deploy를 눌러서 배포할 수 있다. S3 버킷과 연계해서 사용할 수 있는데, 특정 버킷에 이벤트 알림을 만들어서 객체 생성이나, 제거와 같은 이벤트에 람다 함수가 연계되도록 설정할 수 있다. Docker Docker는 App을 신속하게 구축, 테스트 및 배포할 수 있는 SW 플랫폼이다. Docker는 SW를 컨테이너라는 표준화 유닛으로 패키징한다. 이 컨테이너에는 라이브러리, 시스템 ..
CLI AWS CLI는 명령줄 인터페이스로, AWS 리소스를 관리할 수 있는 쉘이다. 터미널에서 다음 명령어를 이용하여 설치한다. pip install awscli 설치 이후 초기 설정에서 configuration을 구성해줘야 원활히 사용 가능하다. 이를 위해선 IAM 계정을 하나 만들어야 한다. IAM 계정 생성 후 원하는 권한을 부여한 다음에, 터미널에서 다음과 같은 설정을 진행한다. 이후 확인은 aws configure list 명령어로 가능하다. 이 과정을 거치면 굳이 웹 콘솔에 들어가지 않고 콘솔에서 s3를 다루는 등의 기능을 활용할 수 있다. aws s3 mb s3://bucket_name_examples # make bucket example 단, 모든 서비스에 대한 CLI 명령어를 외우고 ..
IAM IAM은 AWS 리소스에 대한 접근을 안전하게 제어할 수 있게 만들어주는 서비스다. 최초 AWS 계정 생성시 루트 사용자 권한을 받아서 사용하게 되지만, 이후에는 IAM 권한을 따로 부여하여 사용하는 것을 권장한다. IAM 정책을 설정하여 어떤 리소스에 접근할 수 있는지 여부를 사용자, 사용자 그룹 별로 지정할 수 있다. 이런 플로우로 도식화할 수 있다. S3 S3는 객체 스토리지 서비스로, 쉽게 말하면 웹에서 사용할 수 있는 하드 디스크다. 그리고 S3를 사용하여 정적 웹 사이트를 호스팅 할 수 있다. ( .html 파일을 올리고 정적 웹 사이트 호스팅을 활성화하면 된다. ) 이때 버킷의 정책 및 퍼블릭 엑세스 설정을 바꿔서 접근할 수 있도록 열어둬야 한다. CI / CD AWS에서는 SW 개발..
Route 53 도메인 등록, DNS 라우팅, 상태 확인을 할 수 있는 DNS 웹 서비스다. 가비아, Cafe24가 아닌 AWS 내부에서도 도메인을 구입할 수 있다. 도메인을 구입했다면, 호스팅 영역 생성을 눌러 호스팅 영역을 만들 수 있다. 만약 타 사이트에서 도메인을 구입했다면, 네임서버 주소를 해당 사이트에서 제공하는 주소로 바꿔주면 된다. 레코드 생성으로 서브 도메인을 만들어줄 수도 있다. DocumentDB SQL과 NoSQL은 DBMS의 두 가지 주요 유형이다. SQL은 관계형 데이터베이스(RDBMS)를 위한 기술을 의미하고, NoSQL은 비관계형 DBMS를 위한 기술이다. AWS에서는 NoSQL 기반의 DocumentDB와 DynamoDB를 제공한다. DocumentDB는 Document 데..