일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 자료구조
- http
- 종류
- Go
- 데이터베이스
- TIL
- HADOOP
- 컴퓨터 네트워크
- Docker
- redshift
- Django
- 파이썬
- S3
- 가상환경
- 데이터엔지니어링
- 데브코스
- 데이터 파이프라인
- 운영체제
- linux
- PYTHON
- 데이터 웨어하우스
- 데이터 엔지니어링
- sql
- airflow
- dockerfile
- TCP
- 컴퓨터네트워크
- 정리
- AWS
- airflow.cfg
- Today
- Total
목록설치 (3)
홍카나의 공부방

들어가기에 앞서글쓴이는 네이버 클라우드의 우분투(KVM, 22.04) 서버를 대여하고 설치를 진행함을 먼저 알린다. 1. 우분투 리눅스 패키지 관리 툴(apt)의 도커 공식 저장소를 추가하기 전에, 저장소를 추가하는 데 필요한 패키지 설치를 선행한다.sudo apt-get updatesudo apt-get install \apt-transport-https \ca-certificates \curl \gnupg-agent \software-properties-common 2. 도커 패키지 저장소를 인증하기 위한 인증 키를 추가한다. > curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - 3. stable 버전을 제..

로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해 필요한 라이브러리를 설치하고자 한다. (단, Airflow는 Docker에 설치했다고 가정한다.) Airflow에서는 Python 라이브러리 설치에 대한 가이드를 제공하고 있다. 아래 링크를 참고하자. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 참고로 단순하게 pip install로 Airflow를 설치하면 저사양의 아키텍처로 설치되어 여러 한계점이 존재한다. 그래서 Airflow는 Docker에 설치했다고 가..

WSL WSL은 Windows Subsystem for Linux의 약자다. 윈도우에서 리눅스 실행환경을 지원하는 Windows의 확장 기능이라고 생각하면 된다. 윈도우에서 바로 리눅스 명령어를 실행할 수 있어서, 윈도우와 리눅스를 함께 사용하기에 용이하다. Airflow는 Windows 운영체제를 직접 지원하지 않아, 리눅스 환경에 설치해야 한다. cmd에서 아래 명령어로 wsl을 설치할 수 있다. wsl --install 설치후에 Powershell을 관리자 모드로 키고, wsl -l -v로 WSL 버전을 확인한다. VERSION 컬럼을 확인하면 된다.