목록하둡 (1)

홍카나의 공부방

[Hadoop] HDFS 개요와 HDFS 접근 방법, MapReduce

HDFSHDFS(Hadoop File System)는 분산 처리에 사용하는 파일 시스템이다. HDFS는 데이터를 클러스터 전체에 걸쳐 분산시키고, 여러 컴퓨터에 걸쳐 저장한 데이터는 각 컴퓨터가 동시에 처리한다. 데이터는 블록 단위로 나누며, 블록은 기본 128MB를 가지게 된다. 모든 블록은 2개 이상의 복사본으로 저장이 된다. 단일 노드가 다운되더라도 블록을 잃어버리지 않기 위함이다.    노드의 종류Node의 종류는 크게 다음 3가지 노드로 나눈다.Name Node(네임 노드)Client Node(클라이언트 노드)Data Node(데이터 노드) 네임 노드는 쉽게 말하면 관리자 노드로, 어떤 데이터가 어디에 저장되어 있는지를 관리한다. 도서관 관리자가 어떤 책이 어느 선반에 있는지 알고 있는 것처럼,..
Data Engineering/Hadoop 2024. 5. 12. 15:44
이전 Prev 1 Next 다음