홍카나의 공부방

DuckDB? DuckDB는 C++로 작성된 오픈소스 컬럼 기반(columnar) 데이터베이스 관리 시스템으로, 인메모리(in-memory)와 OLAP(온라인 분석 쿼리)에 최적화 되어있다는 특징을 보유하고 있다. 표준 SQL을 지원하므로 데이터에 대해 쿼리, 집계, 조인 등의 연산을 수행할 수 있다. SQLite처럼 파일 기반 데이터베이스로, 어플리케이션 내에서 임베디드 되어 실행된다. 별도의 서버 설치가 필요하지 않아 가볍다는 특징이 있다.  Python에서의 DuckDB API 사용법DuckDB의 장점은 API를 이용하여 여러 프로그래밍 언어에서 손쉽게 사용할 수 있다는 점이다. 이 글에서는 Python을 통한 DuckDB 사용법을 간단하게 알아보자. 먼저 DuckDB를 사용하여 SQL 쿼리를 실행..

Why Pig? 하둡 에코시스템 내부의 Pig는 분산 데이터 처리를 목적으로 사용하는 프로그램이다.Hadoop의 기본 데이터 처리 구조인 Mapper와 Reducer의 프레임에 맞춰서 개발하기 쉽지 않은 문제들도 있을 것인데, 이럴 때 사용할 수 있는 대안중 하나가 바로 Pig다. Pig는 맵리듀스 위에서 작동하고, Pig Latin이라는 새로운 프로그래밍 언어를 사용한다. 그리고 절차형 언어로, 언어 자체가 SQL과 굉장히 유사한 특징을 가지고 있어 SQL에 익숙하다면 쉽게 배울 수 있는 언어다. Pig Latin은 내부적으로 맵리듀스 작업으로 변환되어 Hadoop 클러스터에서 실행된다.  Pig의 사용법 Pig를 사용할 수 있는 방법은 여러 가지가 있다.첫 번째로는 명령줄 해석 프로그램인 Grunt를..