구글 파일 시스템은 급속히 늘어나는 구글의 데이터 처리를 위하여 설계된 대용량 분산 파일 시스템입니다. 구글에서 사용하는 많은 소프트웨어는 GFS로부터 데이터를 읽어서 가공하고 그것을 다시 GFS에 저장합니다. GFS는 항상 파일들을 여러 개로 복제하여 보관합니다.
[ GFS 구조]
구글 파일 시스템은 마스터(Master), 청크 서버(Chunk Server), 클라이언트(Client)로 구성됩니다. 마스터는 GFS 전체의 상태를 관리하고 통제하는 중앙 서버 역할을 수행합니다. 청크서버는 물리적인 하드디스크에 실제 입출력을 처리하고, 클라이언트는 파일을 읽고 쓰는 동작을 요청하는 어플리케이션입니다.
[GFS 동작과정]
구글 파일 시스템의 동작과정을 살펴보면, 우선 클라이언트는 ①마스터에게 파일의 읽기/쓰기를 요청합니다. 요청을 받은 ②마스터는 클라이언트와 제일 가까운 청크서버의 정보를 클라이언트에게 전달해주고, ③클라이언트는 전달받은 정보를 바탕으로 청크서버와 직접 통신하며 파일의 읽기/쓰기를 실행합니다.
청크서버가 고장날 경우, 마스터는 고장나지 않은 청크 서버를 이용하여 파일의 읽기/쓰기를 실행할 수 있으며, 마스터 서버가 고장나는 경우, 별도의 외부 장비가 마스터 서버의 고장유무를 체크하여, 다른 서버가 마스터 서버의 기능을 대체하게 됩니다. 이러한 방식으로 무정지 기능(Failuer Tolerance)을 구현하고 있습니다.
'빅데이터 > 빅데이터 처리' 카테고리의 다른 글
인-데이터베이스(In-Database) (0) | 2017.08.03 |
---|---|
복합 이벤트 처리(CEP, Complex Event Processing) (0) | 2017.08.03 |
구독 형태의 데이터 수집 (0) | 2017.08.03 |
정보 검색을 통한 데이터 수집 (0) | 2017.08.03 |
RDBMS를 통한 데이터 수집 (0) | 2017.08.03 |