일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- http
- 컴퓨터 네트워크
- airflow
- sql
- 파이썬
- airflow.cfg
- HADOOP
- 데이터 파이프라인
- dockerfile
- 데이터엔지니어링
- 정리
- S3
- 데이터 엔지니어링
- PYTHON
- Docker
- 데이터베이스
- 데이터 웨어하우스
- 데브코스
- linux
- 자료구조
- 컴퓨터네트워크
- Go
- TIL
- redshift
- 가상환경
- 종류
- Django
- 운영체제
- AWS
- TCP
- Today
- Total
목록데이터 엔지니어링 (24)
홍카나의 공부방
View와 Template의 기본 사용 예시 # views.py: from django.shortcuts import render from django.http import HttpResponse from polls.models import Question def index(request): # 쿼리셋을 정리하기 위한 method = order_by. 내림차순이 default latest_question_list = Question.objects.order_by('-pub_date')[:5] context = {'first_question': latest_question_list[0]} return render(request, 'polls/index.html', context=context) # 템플릿 ..
Django 초기 설정 과정 https://hongcana.tistory.com/29 [Django] 장고 명령어 정리(치트시트) - 1 Windows 기준 - django-admin startproject {project 명} => 프로젝트 폴더 및 manage.py 생성 - (Git 설정) .gitignore 설정 체크 => gitignore.io에 들어가서 Django 검색 입력 후 필요에 따라 복붙하고 이용. => git add .gitignor hongcana.tistory.com https://hongcana.tistory.com/30 [Django] 새로운 프로젝트 만들 때 초기 설정 확인 과정 1. 가상환경 만들기 2. pip install django 3. django-admin으로 프로..
데이터 웨어하우스, 데이터 마트, 데이터 레이크는 모두 데이터 관리 시스템이지만, 각각의 특징과 목적은 다르다. 데이터 웨어하우스 데이터 웨어하우스는 조직 전체의 데이터를 통합하여 저장하는 데이터 관리 시스템이다. 일반적인 RDB와는 달리 대량의 데이터를 길게 보존하는 것에 최적화 되어있다. 데이터 웨어하우스는 중요한 데이터 처리에 사용되기 때문에 과부하를 적게 주는 것이 중요하다. 데이터 웨어하우스에서 필요한 데이터만을 추출하여 데이터 마트(data mart)를 구축하기도 한다. 데이터 웨어하우스의 데이터는 리포팅 및 분석 쿼리를 위해 정형화(구조화)되고, 최적화되어야 한다. 데이터 마트 데이터 마트는 데이터 웨어하우스에서 ETL을 거쳐 업무에 필요한 데이터만을 추출하여 구성한 데이터 저장소다. 데이터..