일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 컴퓨터 네트워크
- Docker
- 데이터 파이프라인
- 데이터엔지니어링
- linux
- PYTHON
- 자료구조
- 가상환경
- airflow
- 종류
- TIL
- 데이터베이스
- airflow.cfg
- AWS
- dockerfile
- sql
- 파이썬
- HADOOP
- 운영체제
- Go
- 컴퓨터네트워크
- TCP
- redshift
- 데브코스
- 정리
- http
- 데이터 웨어하우스
- 데이터 엔지니어링
- Django
- S3
- Today
- Total
목록Data Engineering (95)
홍카나의 공부방
WSL WSL은 Windows Subsystem for Linux의 약자다. 윈도우에서 리눅스 실행환경을 지원하는 Windows의 확장 기능이라고 생각하면 된다. 윈도우에서 바로 리눅스 명령어를 실행할 수 있어서, 윈도우와 리눅스를 함께 사용하기에 용이하다. Airflow는 Windows 운영체제를 직접 지원하지 않아, 리눅스 환경에 설치해야 한다. cmd에서 아래 명령어로 wsl을 설치할 수 있다. wsl --install 설치후에 Powershell을 관리자 모드로 키고, wsl -l -v로 WSL 버전을 확인한다. VERSION 컬럼을 확인하면 된다.
사용한 데이터는 아래의 train.csv를 사용 https://www.kaggle.com/competitions/titanic Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com 이 글은 코드로 여러가지 예시를 설명하는 글. 혼자 학습용으로 기록해둔거라 가독성이 좋지 않고, 그냥 읽기엔 불친절한 글. 먼저 csv의 자료형을 살펴본 뒤 그에 맞춰서 CREATE TABLE을 하거나, MySQL Workbench를 통해서 csv 파일을 Import해주기. table 이름은 datas로 해줬음. 1. 결측치 개수 출력 방법 -- 결측치 개수 출력하기 SELECT SUM(CASE WHEN PassengerId IS NULL THEN 1 ELSE 0 ..
Docker Compose란? docker-compose는 다수의 docker container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴 및 환경설정 파일이다. docker desktop의 일부로 함께 설치된다. docker-compose.yml 혹은 docker-compose.yaml로 설정한다. docker-compose파일로 환경을 만들어두면 개별 컨테이너를 관리하는 것보다 훨씬 생산성이 높지만, 복잡도도 높아진다는 단점이 있다. 연계하여 사용하는 명령어들은 다음과 같다. docker-compose build docker-compose up docker-compose pull docker-compose ps docker-compose down docker-compose start docker..