일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 데이터 엔지니어링
- redshift
- 파이썬
- Docker
- TCP
- sql
- 정리
- linux
- airflow.cfg
- 데이터 파이프라인
- Django
- HADOOP
- Go
- AWS
- 데이터베이스
- S3
- 데이터 웨어하우스
- 컴퓨터네트워크
- TIL
- 컴퓨터 네트워크
- PYTHON
- dockerfile
- 데브코스
- 종류
- 데이터엔지니어링
- 운영체제
- 가상환경
- airflow
- 자료구조
- http
- Today
- Total
목록Data Engineering/Database (19)
홍카나의 공부방
DuckDB? DuckDB는 C++로 작성된 오픈소스 컬럼 기반(columnar) 데이터베이스 관리 시스템으로, 인메모리(in-memory)와 OLAP(온라인 분석 쿼리)에 최적화 되어있다는 특징을 보유하고 있다. 표준 SQL을 지원하므로 데이터에 대해 쿼리, 집계, 조인 등의 연산을 수행할 수 있다. SQLite처럼 파일 기반 데이터베이스로, 어플리케이션 내에서 임베디드 되어 실행된다. 별도의 서버 설치가 필요하지 않아 가볍다는 특징이 있다. Python에서의 DuckDB API 사용법DuckDB의 장점은 API를 이용하여 여러 프로그래밍 언어에서 손쉽게 사용할 수 있다는 점이다. 이 글에서는 Python을 통한 DuckDB 사용법을 간단하게 알아보자. 먼저 DuckDB를 사용하여 SQL 쿼리를 실행..
Oracle SQL 공부 도중 몰랐던 부분들을 정리하는 글. 1. WHERE 절에서 OR와 AND 연산자의 우선순위는 AND가 우위 > 이를 고려하지 않으면 원하지 않는 결과가 나올 수 있으므로, 괄호를 적극적으로 활용할 것 예를 들어서 사는 지역이 서울 또는 경기고, 성별이 남성인 사용자를 조건으로 했을때 WHERE 지역 = '서울' or 지역 = '경기' AND 성별 = '남자' 이렇게하면 의도치 않게 지역이 서울이거나, 경기면서 남자인 사용자를 고르게 된다. 2. 대표적인 와일드카드의 종류는 %, _, [], ^ 등이 있음. %는 임의의 수의 문자를 의미 _는 단 한 개의 문자를 의미 [ ]는 문자들을 하나의 집합으로 지정해 사용 예를들어, [JK]면 J또는K로 시작하는 레코드를 찾는 것 ^는 캐럿..
오라클에서는 REGEXP_LIKE,INSTR,SUBSTR,REPLACE,COUNT 등의 정규표현식 함수를 지원한다. 1. REGEXP_LIKE(source, pattern, match_parameter) LIKE 함수는 source가 정규표현식 pattern에 매칭되는지 확인한다. match_parameter는 옵션이다. SELECT PRODUCT_NAME FROM PRODUCT_TABLE WHERE REGEXP_LIKE(PRODUCT_NAME, '^A'); 위 쿼리는 PRODUCT_NAME이 'A'로 시작하는 모든 제품을 SELECT한다. 2. REGEXP_INSTR(source, pattern, position, occurrence, return_option, match_parameter) INSTR..
사용한 데이터는 아래의 train.csv를 사용 https://www.kaggle.com/competitions/titanic Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com 이 글은 코드로 여러가지 예시를 설명하는 글. 혼자 학습용으로 기록해둔거라 가독성이 좋지 않고, 그냥 읽기엔 불친절한 글. 먼저 csv의 자료형을 살펴본 뒤 그에 맞춰서 CREATE TABLE을 하거나, MySQL Workbench를 통해서 csv 파일을 Import해주기. table 이름은 datas로 해줬음. 1. 결측치 개수 출력 방법 -- 결측치 개수 출력하기 SELECT SUM(CASE WHEN PassengerId IS NULL THEN 1 ELSE 0 ..