목록Pig (1)

홍카나의 공부방

[Hadoop] Apache Pig의 개요와 사용법

Why Pig? 하둡 에코시스템 내부의 Pig는 분산 데이터 처리를 목적으로 사용하는 프로그램이다.Hadoop의 기본 데이터 처리 구조인 Mapper와 Reducer의 프레임에 맞춰서 개발하기 쉽지 않은 문제들도 있을 것인데, 이럴 때 사용할 수 있는 대안중 하나가 바로 Pig다. Pig는 맵리듀스 위에서 작동하고, Pig Latin이라는 새로운 프로그래밍 언어를 사용한다. 그리고 절차형 언어로, 언어 자체가 SQL과 굉장히 유사한 특징을 가지고 있어 SQL에 익숙하다면 쉽게 배울 수 있는 언어다. Pig Latin은 내부적으로 맵리듀스 작업으로 변환되어 Hadoop 클러스터에서 실행된다.  Pig의 사용법 Pig를 사용할 수 있는 방법은 여러 가지가 있다.첫 번째로는 명령줄 해석 프로그램인 Grunt를..
Data Engineering/Hadoop 2024. 5. 19. 14:19
이전 Prev 1 Next 다음