Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 엔지니어링
- 정리
- 종류
- linux
- 자료구조
- airflow
- 운영체제
- 컴퓨터 네트워크
- redshift
- 데이터베이스
- TCP
- 가상환경
- Django
- 데이터 파이프라인
- AWS
- 데이터 웨어하우스
- dockerfile
- 데이터엔지니어링
- 데브코스
- Docker
- sql
- HADOOP
- 컴퓨터네트워크
- http
- airflow.cfg
- TIL
- Go
- 파이썬
- PYTHON
- S3
Archives
- Today
- Total
홍카나의 공부방
[Airflow] WSL에서 pip install로 Airflow를 사용하지 않는 이유 본문
Data Engineering/Airflow
[Airflow] WSL에서 pip install로 Airflow를 사용하지 않는 이유
홍문관카페나무 2023. 11. 4. 11:45
리눅스에서 파이썬 Airflow 라이브러리를 설치하면 Airflow를 사용할 수 있다.
그런데 WSL에서 pip install 명령으로 Airflow를 설치하지 않고, Docker를 사용하는 이유는
1. pip install로 airflow를 설치하면 저사양의 아키텍쳐로 설치가 된다. 실사용에 여러 제약이 생긴다.
2. Task를 한 번에 1개씩만 실행하거나, MetaDB를 제약이 많은 SQLlite로 사용하게 된다.
그래서 Docker로 설치해서 쓰는 경우가 대부분이다.
반응형
'Data Engineering > Airflow' 카테고리의 다른 글
[Airflow] Cron Schedule 정리 (1) | 2023.11.04 |
---|---|
[Airflow] Operator, Task, Scheduler, Worker, DAG 기초 예시 (0) | 2023.11.04 |
[Airflow] cfg에서의 Timezone (0) | 2023.06.21 |
[Airflow] task 실패시 분석하기 (1) | 2023.06.06 |
[Airflow] Airflow.cfg 일부 살펴보기 (2) | 2023.06.06 |