일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 운영체제
- 데이터 파이프라인
- 데이터 웨어하우스
- HADOOP
- 데브코스
- http
- 컴퓨터네트워크
- 데이터베이스
- airflow
- TCP
- redshift
- 자료구조
- 데이터 엔지니어링
- dockerfile
- TIL
- 파이썬
- airflow.cfg
- 컴퓨터 네트워크
- PYTHON
- 종류
- 가상환경
- sql
- AWS
- Django
- S3
- Docker
- 정리
- 데이터엔지니어링
- linux
- Go
- Today
- Total
목록linux (4)
홍카나의 공부방
들어가기에 앞서글쓴이는 네이버 클라우드의 우분투(KVM, 22.04) 서버를 대여하고 설치를 진행함을 먼저 알린다. 1. 우분투 리눅스 패키지 관리 툴(apt)의 도커 공식 저장소를 추가하기 전에, 저장소를 추가하는 데 필요한 패키지 설치를 선행한다.sudo apt-get updatesudo apt-get install \apt-transport-https \ca-certificates \curl \gnupg-agent \software-properties-common 2. 도커 패키지 저장소를 인증하기 위한 인증 키를 추가한다. > curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 3. stable 버전을 제..
오픈 소스 소프트웨어(OSS)란?다음과 같은 권리를 제공하는 라이센스를 가진 소스코드를 의미한다.examine(자유로운 사용)modify(수정)redistribute(재배포)위 사항에 대해서는 사용자에게 제한 없이 제공된다. 라이센스는 크게 Permissive, Restrictive로 구분되며, 각각 BSD, GPL 라이센스를 예시로 들 수 있다. 오픈 소스 소프트웨어의 역사애플리케이션, 프로그램, 하드웨어 장치를 통해 소스를 공유한다는 개념은 1950년대부터 시작되었다. LINUX의 조상이라고 볼 수 있는 UNIX가 1969년에 시작되었고, 1980년에 인터넷이 발전하면서 소프트웨어 측면에서도 많은 발전이 이루어지기 시작됐다. 1991년에 리누스 토발즈에 의해 리눅스가 탄생되었고, 1992년에 파이썬..
0. 하둡 실습 환경 구축 준비Udemy에서 아래 하둡 강의로 하둡 에코시스템에 대한 학습을 진행하려고 했다.강의에서는 VirtualBox의 우분투 이미지로 가상머신을 하나 올려서 실습을 진행한다. 그러나 나같은 경우 M1 Mac을 사용하고 있어서 VirtualBox 사용이 어렵기도 하고, 그렇다고 강의만 들으려니 실습을 하고 싶은 마음이 커서 컴퓨팅 자원을 하나 빌리기로 했다. 제일 흔한 선택지는 AWS EC2다. 프리티어 요금제를 기준으로 공짜로 빌릴 수 있는 t2.micro의 경우 RAM 1GB 짜리 인스턴스를 제공한다. 그러나 실습에 필요한 RAM이 최소 8GB라고 권장되므로, AWS에서 유료로 컴퓨팅 자원을 빌리거나 GCP처럼 다른 클라우드 서비스에서 AWS의 무료 t2.micro보다 합리적으로..
WSL WSL은 Windows Subsystem for Linux의 약자다. 윈도우에서 리눅스 실행환경을 지원하는 Windows의 확장 기능이라고 생각하면 된다. 윈도우에서 바로 리눅스 명령어를 실행할 수 있어서, 윈도우와 리눅스를 함께 사용하기에 용이하다. Airflow는 Windows 운영체제를 직접 지원하지 않아, 리눅스 환경에 설치해야 한다. cmd에서 아래 명령어로 wsl을 설치할 수 있다. wsl --install 설치후에 Powershell을 관리자 모드로 키고, wsl -l -v로 WSL 버전을 확인한다. VERSION 컬럼을 확인하면 된다.