일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- S3
- 운영체제
- 데이터베이스
- dockerfile
- 정리
- Django
- 가상환경
- Go
- linux
- 데이터 파이프라인
- 데이터엔지니어링
- 컴퓨터 네트워크
- airflow.cfg
- TIL
- 데이터 웨어하우스
- 종류
- 컴퓨터네트워크
- airflow
- 데브코스
- TCP
- HADOOP
- 자료구조
- PYTHON
- 데이터 엔지니어링
- sql
- http
- AWS
- 파이썬
- Docker
- redshift
- Today
- Total
목록Data Engineering (95)
홍카나의 공부방
Django 초기 설정 과정 https://hongcana.tistory.com/29 [Django] 장고 명령어 정리(치트시트) - 1 Windows 기준 - django-admin startproject {project 명} => 프로젝트 폴더 및 manage.py 생성 - (Git 설정) .gitignore 설정 체크 => gitignore.io에 들어가서 Django 검색 입력 후 필요에 따라 복붙하고 이용. => git add .gitignor hongcana.tistory.com https://hongcana.tistory.com/30 [Django] 새로운 프로젝트 만들 때 초기 설정 확인 과정 1. 가상환경 만들기 2. pip install django 3. django-admin으로 프로..
데이터 웨어하우스, 데이터 마트, 데이터 레이크는 모두 데이터 관리 시스템이지만, 각각의 특징과 목적은 다르다. 데이터 웨어하우스 데이터 웨어하우스는 조직 전체의 데이터를 통합하여 저장하는 데이터 관리 시스템이다. 일반적인 RDB와는 달리 대량의 데이터를 길게 보존하는 것에 최적화 되어있다. 데이터 웨어하우스는 중요한 데이터 처리에 사용되기 때문에 과부하를 적게 주는 것이 중요하다. 데이터 웨어하우스에서 필요한 데이터만을 추출하여 데이터 마트(data mart)를 구축하기도 한다. 데이터 웨어하우스의 데이터는 리포팅 및 분석 쿼리를 위해 정형화(구조화)되고, 최적화되어야 한다. 데이터 마트 데이터 마트는 데이터 웨어하우스에서 ETL을 거쳐 업무에 필요한 데이터만을 추출하여 구성한 데이터 저장소다. 데이터..
Seaborn Jupyter Notebook이나 Colab 환경을 이용하면 시각화를 보다 편리하게 진행할 수 있다. 하지만 오랜만에 코랩이나 쥬피터를 켜기 귀찮으므로(...) VSCODE로 시각화를 진행한다. VSCODE로 시각화를 이용하려면 VSCODE Extension에서 `Jupyter` Extension을 설치해야 한다. 그리고 파일 맨 위에 `#%%`을 추가하고, `Run Cell`을 누르면 시각화가 진행된다. 임의로 시각화 코드를 작성하여 VScode를 통한 시각화를 진행하였다. 코드는 다음과 같다. # %% import seaborn as sns import matplotlib.pyplot as plt # 한글 폰트 사용을 위한 세팅 from matplotlib import font_mana..