목록Data Engineering (95)

홍카나의 공부방

[DE 데브코스] 05.16 TIL - Route53, DocumentDB, ACM, CloudFront, VPC

Route 53 도메인 등록, DNS 라우팅, 상태 확인을 할 수 있는 DNS 웹 서비스다. 가비아, Cafe24가 아닌 AWS 내부에서도 도메인을 구입할 수 있다. 도메인을 구입했다면, 호스팅 영역 생성을 눌러 호스팅 영역을 만들 수 있다. 만약 타 사이트에서 도메인을 구입했다면, 네임서버 주소를 해당 사이트에서 제공하는 주소로 바꿔주면 된다. 레코드 생성으로 서브 도메인을 만들어줄 수도 있다. DocumentDB SQL과 NoSQL은 DBMS의 두 가지 주요 유형이다. SQL은 관계형 데이터베이스(RDBMS)를 위한 기술을 의미하고, NoSQL은 비관계형 DBMS를 위한 기술이다. AWS에서는 NoSQL 기반의 DocumentDB와 DynamoDB를 제공한다. DocumentDB는 Document 데..
Data Engineering/프로그래머스 데브코스 2023. 5. 16. 17:49
[DE 데브코스] 05.15 TIL - AWS(EC2)

클라우드 컴퓨팅 IT 자원을 인터넷을 통해 on-demand로 제공받고 사용한 만큼 비용을 지불하는 방식이다. 물리적 데이터 센터와 서버를 구입하고 유지관리하는 것보다 초기 자본/시간적 비용을 훨씬 절감할 수 있다. 클라우드 유형으로는 온프레미스, IAAS, PAAS, SAAS로 구분된다. 구분 기준은 CSP로부터 어느 서비스까지 제공받느냐에 따라 달라진다. EC2와 인스턴스 생성 AWS에서 사용할 수 있는 가상의 컴퓨터 한 대를 대여할 수 있는 서비스다. EC2에서는 여러 개의 인스턴스를 만들 수 있으며, 각각의 인스터스는 가상 컴퓨팅 환경을 의미한다. 이번 글에서는 실습을 진행한다. 크게 순서는 상관없지만, 인스턴스를 할당 받기 전에 키 페어를 받아보자 인스턴스를 할당 받기 전에 키 페어를 받아보자...
Data Engineering/프로그래머스 데브코스 2023. 5. 15. 15:55
[데이터베이스] 하드 디스크의 구조

데이터베이스의 저장 데이터베이스는 일반적으로 하드 디스크, SSD에 저장된다. 만약 하드 디스크에 저장된다고 한다면, 하드 디스크가 데이터를 저장하고 접근하는 방식을 알아야 DB를 사용할 때 어떻게 데이터를 빠르게 read & write할지 결정할 수 있다. ( 디스크는 느려서, 저장 방식을 알아야 한다. ) 그래서 하드 디스크의 데이터 저장 방식을 먼저 알아본다. Hard Disk의 구조 하드 디스크는 수많은 플랫터로 구성되어 있다. 그리고 플랫터의 중심축 부분을 스핀들이라고 한다. 한 플랫터는 양면으로 있고, 플랫터에는 수많은 트랙들이 있다. 트랙을 또 나눌 수 있는데, 위 그림처럼 트랙을 나눈 부분을 섹터라고 부른다. 보통 섹터는 512바이트로 나눈다. 같은 위치의 트랙을 실린더라고 한다. 보통 데..
Data Engineering/Database 2023. 5. 14. 18:27
CSV 파일을 데이터 웨어하우스(redshift)에 로드할 때 주의사항

1. CSV delimeter를 확인하였는가? - comma(,) vs vertical bar(|) # json 처리 response_json = json.loads(api_response.content) datas = [] location = response_json["iss_position"] datas.append(location["latitude"]) datas.append(location["longitude"]) datas.append(response_json["timestamp"]) print(datas) export_file = "export_file.csv" with open(export_file, "a", newline="") as fp: csvw = csv.writer(fp, delim..
Data Engineering 2023. 5. 14. 15:01
이전 Prev 1 ··· 15 16 17 18 19 20 21 ··· 24 Next 다음