Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- 가상환경
- http
- airflow
- PYTHON
- 컴퓨터 네트워크
- S3
- 자료구조
- redshift
- 데이터베이스
- linux
- Go
- Docker
- Django
- dockerfile
- 데브코스
- 컴퓨터네트워크
- 데이터 파이프라인
- 데이터 웨어하우스
- AWS
- 데이터엔지니어링
- 운영체제
- 종류
- TIL
- airflow.cfg
- HADOOP
- 파이썬
- 정리
- TCP
- 데이터 엔지니어링
- sql
Archives
- Today
- Total
홍카나의 공부방
[Airflow] python airflow library 설치하기 본문
로컬 컴퓨터의 파이썬 가상환경에서 DAG를 개발하기 위해
필요한 라이브러리를 설치하고자 한다.
(단, Airflow는 Docker에 설치했다고 가정한다.)
Airflow에서는 Python 라이브러리 설치에 대한
가이드를 제공하고 있다. 아래 링크를 참고하자.
https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html
참고로 단순하게 pip install로 Airflow를 설치하면
저사양의 아키텍처로 설치되어 여러 한계점이 존재한다.
그래서 Airflow는 Docker에 설치했다고 가정한다.
홈페이지에 들어가보면 아래의 pip install ~ 부분을 복사할 수 있게 되어있다.
터미널에서 파이썬 가상환경을 활성화한 뒤에, pip 설치를 진행하면 된다.
설치되어 있는 파이썬 가상환경의 파이썬 버전과
에어플로우 버전을 변경해서 설치해주면 된다.
예를 들어 airflow가 2.7.3이 아닌 2.7.2가 설치되어 있다면, 위 숫자를 변경해주면 된다.
반응형
'Data Engineering > Airflow' 카테고리의 다른 글
[Airflow] 컨테이너 고정IP 할당 & PostgresDB 확인 (1) | 2023.12.17 |
---|---|
[Airflow] 외부 모듈에서 라이브러리 No module 문제 해결하기 (0) | 2023.12.16 |
[Airflow] python operator - 템플릿 사용이 가능한 파라미터 (0) | 2023.11.19 |
[Airflow] Task Decorator 간단 사용법 (0) | 2023.11.16 |
[Airflow] Python 외부 함수 가져와서 사용하기 (0) | 2023.11.16 |