목록Data Engineering/프로그래머스 데브코스 (28)

홍카나의 공부방

[DE 데브코스] 05.22 TIL - 데이터 팀에 대하여, DevOps 등

데이터 팀의 Vision과 하는 일 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 만든다. 그 기업의 본업을 더 잘 영위할 수 있게 만든다. 의사 결정권자에게 데이터를 고려한 결정(data informed decisions)을 가능하게끔 돕는다. ex) 데이터 기반의 지표를 정의하고, 대시보드 & 리포트 생성 등의 작업을 수행한다. - Data Analyst가 주로 하는 일 ex) 개인화를 바탕으로 추천과 검색 기능을 제공하는 것처럼, 머신러닝과 같은 알고리즘으로 사용자의 서비스 경험을 개선한다. - Data Scientist가 주로 하는 일 데이터의 흐름과 데이터 팀의 발전 단계 데이터 엔지니어는 여러 source에서 발생한 데이터를 추출하고 정제하여 데이터 인프라를 구축하는 일과 데이터 인프라를 관리..
Data Engineering/프로그래머스 데브코스 2023. 5. 22. 16:30
[DE 데브코스] 05.19 TIL - Lambda, Docker

AWS Lambda 내가 만든 함수만 등록해서 서비스를 할 수 있게 만들어주는 서버리스 서비스를 Lambda라고 한다. 위 그림처럼 특정 람다 함수를 생성하고, 테스트를 해보면 된다. 어떤 이벤트가 일어날 때, 특정 람다를 실행시켜 달라는 트리거를 만들 수도 있다. 코드는 웹 상의 편집기에서 추가 및 수정을 진행한 다음 deploy를 눌러서 배포할 수 있다. S3 버킷과 연계해서 사용할 수 있는데, 특정 버킷에 이벤트 알림을 만들어서 객체 생성이나, 제거와 같은 이벤트에 람다 함수가 연계되도록 설정할 수 있다. Docker Docker는 App을 신속하게 구축, 테스트 및 배포할 수 있는 SW 플랫폼이다. Docker는 SW를 컨테이너라는 표준화 유닛으로 패키징한다. 이 컨테이너에는 라이브러리, 시스템 ..
Data Engineering/프로그래머스 데브코스 2023. 5. 19. 16:13
[DE 데브코스] 05.18 TIL - CLI, DATABASE

CLI AWS CLI는 명령줄 인터페이스로, AWS 리소스를 관리할 수 있는 쉘이다. 터미널에서 다음 명령어를 이용하여 설치한다. pip install awscli 설치 이후 초기 설정에서 configuration을 구성해줘야 원활히 사용 가능하다. 이를 위해선 IAM 계정을 하나 만들어야 한다. IAM 계정 생성 후 원하는 권한을 부여한 다음에, 터미널에서 다음과 같은 설정을 진행한다. 이후 확인은 aws configure list 명령어로 가능하다. 이 과정을 거치면 굳이 웹 콘솔에 들어가지 않고 콘솔에서 s3를 다루는 등의 기능을 활용할 수 있다. aws s3 mb s3://bucket_name_examples # make bucket example 단, 모든 서비스에 대한 CLI 명령어를 외우고 ..
Data Engineering/프로그래머스 데브코스 2023. 5. 18. 16:56
[DE 데브코스] 05.17 TIL - IAM, S3, CI/CD

IAM IAM은 AWS 리소스에 대한 접근을 안전하게 제어할 수 있게 만들어주는 서비스다. 최초 AWS 계정 생성시 루트 사용자 권한을 받아서 사용하게 되지만, 이후에는 IAM 권한을 따로 부여하여 사용하는 것을 권장한다. IAM 정책을 설정하여 어떤 리소스에 접근할 수 있는지 여부를 사용자, 사용자 그룹 별로 지정할 수 있다. 이런 플로우로 도식화할 수 있다. S3 S3는 객체 스토리지 서비스로, 쉽게 말하면 웹에서 사용할 수 있는 하드 디스크다. 그리고 S3를 사용하여 정적 웹 사이트를 호스팅 할 수 있다. ( .html 파일을 올리고 정적 웹 사이트 호스팅을 활성화하면 된다. ) 이때 버킷의 정책 및 퍼블릭 엑세스 설정을 바꿔서 접근할 수 있도록 열어둬야 한다. CI / CD AWS에서는 SW 개발..
Data Engineering/프로그래머스 데브코스 2023. 5. 17. 17:42
이전 Prev 1 2 3 4 5 ··· 7 Next 다음