페북, HBASE 가용성 99.999%로 높여
OSS
게시글 작성 시각 2014-06-09 17:16:14
2014년 06월 09일 (월)
ⓒ 지디넷코리아, 김우용 기자 yong2@zdnet.co.kr
페이스북이 하둡의 NoSQL 아파치 HBASE에 탄력성(resilience)을 더했다. HBASE 다운타임을 연간 5분으로 줄였다.
최근 페이스북은 엔지니어링 블로그를 통해 HBASE의 장애에 대한 탄력성을 높인 '히드라베이스(Hydrabase)'를 개발중이라고 밝혔다.
HBASE는 하둡분산파일시스템(HDFS)을 바탕으로 작동하는 키벨류 데이터베이스관리시스템(DBMS)이다.
페이스북은 현재 HBASE를 활용해 12가지의 서비스를 제공중이다. SMS, 채팅, 이메일, 페이스북 메시지 등 메신저를 비롯해, 내부 모니터링시스템, 근처친구 기능, 검색목록, 스트리밍데이터분석, 내부 DW용 데이터 스크랩 등이 HBASE 기반으로 운영된다.
여러 장점에도 불구하고 HBASE는 장애발생 시 회복까지 오랜 시간이 걸린다는 단점을 갖고 있었다. 현재 페이스북은 HBASE의 가용성을 99.99%로 유지하고 있지만, 엔터프라이즈에서 사용할 만큼 만족스러운 수준이라 볼 수 없다.
▲ 페이스북 히드라베이스 작동개념
페이그북에 따르면, 히드라베이스는 HBASE의 가용성을 99.999%로 높여준다. 이를 통해 HBASE의 장애시간이 연간 최대 5분으로 줄어든다는 것이다.
히드라베이스는 서버 장애를 대비해 마련해두는 대기 서버를 분산시키는 부분을 개선했다.
리전 서버의 중단 시 호스트된 모든 리전은 자동 페일오버를 제공하는 다른 리전 서버로 이전된다. 자동이전에 따른 파일 이전 프로세스로 인해 HBASE에 지연이 발생한다.
히드라베이스는 논리적, 물리적 복제의 비동기화를 통해 이 지연을 줄인다.
페이스북은 "단일 리전 서버에 의해 작동되는 각 리전을 갖는 대신, 각 리전이 한 세트의 리전서버에 호스트된다"며 "리전 서버 장애 시 리전 안의 대기서버가 서비스를 지탱하게 된다"고 설명했다.
이어 "스탠바이 리전서버는 다른 랙이나 데이터센터를 교차해 퍼질 수 있고, 장애를 겪는 또 다른 도메일에도 가용성을 제공한다"고 덧붙였다.
또한 "각 리전을 서비스하는 리전서버의 세트는 쿼럼을 형성한다"며 "각 쿼럼은 클라이언트에게 서비스 읽기와 쓰기를 요청하는 리더를 갖는다"고 밝혔다.
세계 최대 규모의 HBASE를 보유한 페이스북은 "현재 히드라베이스를 테스트중이며, 현업시스템에 적용하는 단계에 공개할 계획"이라고 적었다.
현재 맵알테크놀로지스는 HBASE의 가용성을 99.999%로 보장하는 하둡 배포판을 유료 서비스로 묶어 판매하고 있다.
최근 페이스북은 엔지니어링 블로그를 통해 HBASE의 장애에 대한 탄력성을 높인 '히드라베이스(Hydrabase)'를 개발중이라고 밝혔다.
HBASE는 하둡분산파일시스템(HDFS)을 바탕으로 작동하는 키벨류 데이터베이스관리시스템(DBMS)이다.
페이스북은 현재 HBASE를 활용해 12가지의 서비스를 제공중이다. SMS, 채팅, 이메일, 페이스북 메시지 등 메신저를 비롯해, 내부 모니터링시스템, 근처친구 기능, 검색목록, 스트리밍데이터분석, 내부 DW용 데이터 스크랩 등이 HBASE 기반으로 운영된다.
여러 장점에도 불구하고 HBASE는 장애발생 시 회복까지 오랜 시간이 걸린다는 단점을 갖고 있었다. 현재 페이스북은 HBASE의 가용성을 99.99%로 유지하고 있지만, 엔터프라이즈에서 사용할 만큼 만족스러운 수준이라 볼 수 없다.
▲ 페이스북 히드라베이스 작동개념
페이그북에 따르면, 히드라베이스는 HBASE의 가용성을 99.999%로 높여준다. 이를 통해 HBASE의 장애시간이 연간 최대 5분으로 줄어든다는 것이다.
히드라베이스는 서버 장애를 대비해 마련해두는 대기 서버를 분산시키는 부분을 개선했다.
리전 서버의 중단 시 호스트된 모든 리전은 자동 페일오버를 제공하는 다른 리전 서버로 이전된다. 자동이전에 따른 파일 이전 프로세스로 인해 HBASE에 지연이 발생한다.
히드라베이스는 논리적, 물리적 복제의 비동기화를 통해 이 지연을 줄인다.
페이스북은 "단일 리전 서버에 의해 작동되는 각 리전을 갖는 대신, 각 리전이 한 세트의 리전서버에 호스트된다"며 "리전 서버 장애 시 리전 안의 대기서버가 서비스를 지탱하게 된다"고 설명했다.
이어 "스탠바이 리전서버는 다른 랙이나 데이터센터를 교차해 퍼질 수 있고, 장애를 겪는 또 다른 도메일에도 가용성을 제공한다"고 덧붙였다.
또한 "각 리전을 서비스하는 리전서버의 세트는 쿼럼을 형성한다"며 "각 쿼럼은 클라이언트에게 서비스 읽기와 쓰기를 요청하는 리더를 갖는다"고 밝혔다.
세계 최대 규모의 HBASE를 보유한 페이스북은 "현재 히드라베이스를 테스트중이며, 현업시스템에 적용하는 단계에 공개할 계획"이라고 적었다.
현재 맵알테크놀로지스는 HBASE의 가용성을 99.999%로 보장하는 하둡 배포판을 유료 서비스로 묶어 판매하고 있다.
※ 본 내용은 (주)메가뉴스(http://www.zdnet.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 지디넷코리아. 무단전재 및 재배포 금지
[원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20140609104746]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 366787 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 356575 | 2020-10-27 |
| 3131 | 구글 크롬, 미국 브라우저 시장에서 마이크로소프트 IE 넘어서 | 3743 | 2014-06-09 |
| 3130 | 국산 웹오피스 쿠쿠닥스, 구글독스에 도전한 이유 | 3541 | 2014-06-09 |
| 3129 | 옹진군, 홈페이지 웹접근성 인증마크 획득 | 3687 | 2014-06-09 |
| 3128 | 디지털 기기, 리눅스 진영 OS 파워 확대일로 | 3810 | 2014-06-09 |
| 3127 | 시냅틱스, 타이젠폰 `삼성Z`에 지문인식 솔루션 공급…협력 대폭 확대 | 3662 | 2014-06-09 |
| 3126 | 페북, HBASE 가용성 99.999%로 높여 | 4060 | 2014-06-09 |
| 3125 | 스플렁크, 하둡-NoSQL 지원 '헝크6.1' 출시 | 3629 | 2014-06-09 |
| 3124 | “MySQL 궁금증, MUG에 물어보세요” | 3613 | 2014-06-09 |
| 3123 | 한국오라클 수장 교체…김형래 수석 부사장 내정 | 3651 | 2014-06-09 |
| 3122 | 타이젠 지원할 삼성 클라우드박스 서비스 공개 | 3789 | 2014-06-09 |
0개 댓글