열린마당
2014년 08월 08일 (금)
ⓒ 지디넷코리아, 김우용 기자 yong2@zdnet.co.kr
실시간 쿼리 분석...상용SW와의 경쟁 주목
구글이 대규모 빅데이터 처리를 수행하는 새 데이터웨어하우스(DW) 시스템을 선보였다.
7일(현지시간) 구글은 전세계에 걸친 분산 DW 시스템 '메사(Mesa)'에 대한 논문( ☞원문 바로가기)을 공개했다.
메사는 구글의 인터넷광고사업을 지원하는 DW 플랫폼으로, 구글의 광고사업 관련 근무자들의 분석업무와 고객을 위한 쿼리 서비스도 뒷받침하고 있다. 그러나 다양한 목적으로 사용가능한 범용 DW란 게 저자들의 설명이다.
메사는 실시간에 가까운 쿼리분석을 할 수 있게 해준다. 수많은 구글 데이터센터 중 하나가 장애를 일으켜도 성능을 유지하는 신뢰성과 장애 방지를 위한 폴트톨로런스(Fault Tolerance)도 제공한다. 인프라를 대규모로 유연하게 확장할 수 있고, 쿼리 볼륨도 대규모로 처리할 수 있다.
▲ 구글 데이터센터 내부
메사 논문의 저자들은 "수페타바이트 데이터를 제어하고, 초당 수백만건의 로(Row) 업데이트를 처리한다. 하루 수조건의 로를 패치하는 수십억 쿼리를 서비스한다"고 적었다.
데이터는 각지 데이터센터에 분산돼 저장돼 처리되지만, 쿼리에 대한 응답은 낮은 지연시간에 이뤄진다.
사실 구글은 이미 DW 기술을 보유하고 있다. 현재 오픈소스 빅데이터 업계에 큰 영향을 끼친 '빅테이블(BigTable)'이다. 구글은 이밖에도 스패너, 메가스토어 등의 온라인트랜잭션처리(OLTP) 기술도 보유했다.
이 논문의 저자는 "빅테이블은 메사 애플리케이션에 요구되는 원자성(Atomicity)을 제공하지 않는다"며 "메가스토어, 스패너, F1 등의 OLTP는 강한 일관성(consistency)을 지리적으로 복제된 데이터에 제공하는 반면, 메사 클라이언트에 의해 필요해진 피크 업데이트 쓰루풋을 지원하지 못한다"고 설명했다.
ACID 문제와 성능 면에서 종전 기술로 만족할 수 없었다는 설명이다.
저자는 "메사는 메타데이터 스토리지와 관리를 위한 스패너를 기반으로 빅테이블과 팍소스(Paxos) 기술을 활용한다"고 덧붙였다.
구글은 '드레멜(Dremel)'이란 시스템도 보유하고 있다. 현재 구글이 제공하는 빅쿼리(BigQuery) 서비스의 기반을 이루는 시스템이다. 애드혹(ad hoc) 쿼리를 빠르게 수행하는 데이터 읽기에 초점을 둔다. 논문은 페이스북, 트위터 등과 DB회사들의 기술도 언급했다.
벤더와 다른 서비스 회사가 만든 여러 기술에 대해 리얼타임 쿼리와 다이나믹 업데이트 등을 지원하긴 하지만 복수의 데이터센터에 데이터를 복제하면서 관리되는 형태로 상용화하거나 현업시스템에 적용하지 못했다는 것이다.
구글의 메사 논문은 이후 데이터를 어떻게 저장하는지, 어떻게 쿼리를 처리하는지를 설명하며 분산아키텍처를 묘사한다.
7일(현지시간) 구글은 전세계에 걸친 분산 DW 시스템 '메사(Mesa)'에 대한 논문( ☞원문 바로가기)을 공개했다.
메사는 구글의 인터넷광고사업을 지원하는 DW 플랫폼으로, 구글의 광고사업 관련 근무자들의 분석업무와 고객을 위한 쿼리 서비스도 뒷받침하고 있다. 그러나 다양한 목적으로 사용가능한 범용 DW란 게 저자들의 설명이다.
메사는 실시간에 가까운 쿼리분석을 할 수 있게 해준다. 수많은 구글 데이터센터 중 하나가 장애를 일으켜도 성능을 유지하는 신뢰성과 장애 방지를 위한 폴트톨로런스(Fault Tolerance)도 제공한다. 인프라를 대규모로 유연하게 확장할 수 있고, 쿼리 볼륨도 대규모로 처리할 수 있다.
▲ 구글 데이터센터 내부
메사 논문의 저자들은 "수페타바이트 데이터를 제어하고, 초당 수백만건의 로(Row) 업데이트를 처리한다. 하루 수조건의 로를 패치하는 수십억 쿼리를 서비스한다"고 적었다.
데이터는 각지 데이터센터에 분산돼 저장돼 처리되지만, 쿼리에 대한 응답은 낮은 지연시간에 이뤄진다.
사실 구글은 이미 DW 기술을 보유하고 있다. 현재 오픈소스 빅데이터 업계에 큰 영향을 끼친 '빅테이블(BigTable)'이다. 구글은 이밖에도 스패너, 메가스토어 등의 온라인트랜잭션처리(OLTP) 기술도 보유했다.
이 논문의 저자는 "빅테이블은 메사 애플리케이션에 요구되는 원자성(Atomicity)을 제공하지 않는다"며 "메가스토어, 스패너, F1 등의 OLTP는 강한 일관성(consistency)을 지리적으로 복제된 데이터에 제공하는 반면, 메사 클라이언트에 의해 필요해진 피크 업데이트 쓰루풋을 지원하지 못한다"고 설명했다.
ACID 문제와 성능 면에서 종전 기술로 만족할 수 없었다는 설명이다.
저자는 "메사는 메타데이터 스토리지와 관리를 위한 스패너를 기반으로 빅테이블과 팍소스(Paxos) 기술을 활용한다"고 덧붙였다.
구글은 '드레멜(Dremel)'이란 시스템도 보유하고 있다. 현재 구글이 제공하는 빅쿼리(BigQuery) 서비스의 기반을 이루는 시스템이다. 애드혹(ad hoc) 쿼리를 빠르게 수행하는 데이터 읽기에 초점을 둔다. 논문은 페이스북, 트위터 등과 DB회사들의 기술도 언급했다.
벤더와 다른 서비스 회사가 만든 여러 기술에 대해 리얼타임 쿼리와 다이나믹 업데이트 등을 지원하긴 하지만 복수의 데이터센터에 데이터를 복제하면서 관리되는 형태로 상용화하거나 현업시스템에 적용하지 못했다는 것이다.
구글의 메사 논문은 이후 데이터를 어떻게 저장하는지, 어떻게 쿼리를 처리하는지를 설명하며 분산아키텍처를 묘사한다.
※ 본 내용은 (주)메가뉴스(http://www.zdnet.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 지디넷코리아. 무단전재 및 재배포 금지
[원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20140808093958]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 293962 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 284533 | 2020-10-27 |
| 3373 | 늘어나는 ‘무료SW’ 달라지는 시장판도 | 3459 | 2014-08-19 |
| 3372 | 오픈소스 도입 장벽, 어떻게 극복할 것인가 | 3622 | 2014-08-19 |
| 3371 | 오픈소스 GIS 컨퍼런스 FOSS4G, 26일 개막 | 3513 | 2014-08-19 |
| 3370 | 공공 통합전산센터 국산SW 바람에도 OS는 외산 "대안이 없다" | 3338 | 2014-08-19 |
| 3369 | IoT·웨어러블 컴퓨터 전성시대…맞춤형 오픈소스 OS가 이끈다 | 3596 | 2014-08-19 |
| 3368 | 리눅스 재단, 10월 유럽서 대형 행사 개최 | 3688 | 2014-08-18 |
| 3367 | 고졸사원, 입사 5개월만에 3억 비용절감 '화제 1 | 3707 | 2014-08-18 |
| 3366 | 삼성電, 국내에서 오픈소스 컨퍼런스 개최 | 3513 | 2014-08-12 |
| 3365 | 美 IT 업계, 사물인터넷 컨소시엄 구성 ‘업계 표준기술’ 개발 붐 | 3775 | 2014-08-12 |
| 3364 | 구글, 빅데이터용 새 DW 기술 공개 | 3572 | 2014-08-12 |
0개 댓글