Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- redshift
- 데이터 엔지니어링
- 컴퓨터 네트워크
- S3
- 데이터 웨어하우스
- 데이터 파이프라인
- airflow.cfg
- 데이터엔지니어링
- 데브코스
- Docker
- 컴퓨터네트워크
- http
- HADOOP
- Django
- TIL
- TCP
- sql
- 자료구조
- Go
- 정리
- linux
- 운영체제
- 종류
- dockerfile
- AWS
- airflow
- PYTHON
- 파이썬
- 데이터베이스
- 가상환경
Archives
- Today
- Total
목록wsl (2)
홍카나의 공부방
[Airflow] WSL에서 pip install로 Airflow를 사용하지 않는 이유
리눅스에서 파이썬 Airflow 라이브러리를 설치하면 Airflow를 사용할 수 있다. 그런데 WSL에서 pip install 명령으로 Airflow를 설치하지 않고, Docker를 사용하는 이유는 1. pip install로 airflow를 설치하면 저사양의 아키텍쳐로 설치가 된다. 실사용에 여러 제약이 생긴다. 2. Task를 한 번에 1개씩만 실행하거나, MetaDB를 제약이 많은 SQLlite로 사용하게 된다. 그래서 Docker로 설치해서 쓰는 경우가 대부분이다.
Data Engineering/Airflow
2023. 11. 4. 11:45

WSL WSL은 Windows Subsystem for Linux의 약자다. 윈도우에서 리눅스 실행환경을 지원하는 Windows의 확장 기능이라고 생각하면 된다. 윈도우에서 바로 리눅스 명령어를 실행할 수 있어서, 윈도우와 리눅스를 함께 사용하기에 용이하다. Airflow는 Windows 운영체제를 직접 지원하지 않아, 리눅스 환경에 설치해야 한다. cmd에서 아래 명령어로 wsl을 설치할 수 있다. wsl --install 설치후에 Powershell을 관리자 모드로 키고, wsl -l -v로 WSL 버전을 확인한다. VERSION 컬럼을 확인하면 된다.
Data Engineering/Docker
2023. 10. 30. 22:17