본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

퀀텀 “빅데이터 시대 저장도 무시 못해”

OSS 게시글 작성 시각 2012-07-12 14:58:19 게시글 조회수 5541

2012년 07월 10일 (화)

ⓒ 블로터닷넷, 이지영 기자 izziene@bloter.net



“빅데이터 분석이 중요하지 않다곤 말하지 않겠습니다. 단, 빅데이터 세계엔 분석만 있는 게 아닙니다.”

지네 스토리 퀀텀 파일 시스템 겸 아카이브 부문 수석 부사장은 빅데이터는 크게 콘텐츠 관리, 데이터 분석 두 부문으로 나뉘며, 빅데이터 분석 못지 않게 데이터를 보관하고 관리할 수 있는 스토리지 역량도 함께 주목받고 있다고 최근 빅데이터 동향에 대해 설명했다.


퀀텀이 중복제거 기술, 백업, 복구, 아카이브 같은 스토리지 관련 솔루션과 제품을 판매하는 회사라서가 아니다. 지네 수석 부사장은 “현장에서 마주하는 고객 목소리를 접하다보니 분석 못지 않게 관리도 중요하단 사실을 깨달았다”라며 “그릇에 담겨지지 않는 음식을 손님에게 제공할 순 없는 노릇”이라고 말했다.



그동안 많은 미디어를 통해 데이터 분석을 통해 미래를 알 수 있고 한 개인의 삶을 알아낼 수 있다는 얘기가 쏟아져 나오다보니, 어느새 빅데이터의 최대 활용 분야는 분석이라는 생각이 강하게 자리매김하기 시작했다. 구글이 2008년 발열, 기침 등의 독감 관련 검색어를 집계해 위치별 독감 유행 상황을 예측하는 서비스를 시작하고, HP 연구소가 트위터에서 오고가는 내용을 토대로 할리우드 영화 흥행 수익을 예측했다는 얘기가 나오면서 빅데이터에서 분석은 빠지지 않는 요소가 됐다.


이런 상황에서 지네 수석 부사장의 말을 곰곰이 되짚어보자. 빅데이터에서 분석 못지 않게 왜 저장도 중요하다고 본 것일까. 그동안 기업들은 적당한 크기의 데이터를 데이터베이스(DB)로부터 불러와 데이터웨어하우스(DW)에 저장하고 이를 자사 사업 방향에 맞게 비즈니스 인텔리전스(BI) 도구로 분석했다. 빅데이터도 예외일 순 없다. 분석을 하기 위해선 분석할 대상을 담을 수 있는 그릇이 필요하다.


“어떤 고객들은 자신의 데이터를 평생 보관하길 원합니다. 저렴한 비용으로 안전하게 데이터를 보관하면 금상첨화겠지요. 빅데이터가 등장하면서 스토리지 업계가 ‘비용효율적인 데이터 보관과 관리’라는 도전에 부딪힌 이유입니다.”


디지털 기술이 등장하고 스마트폰, 태블릿 같은 스마트 기기가 등장하면서 각 기업의 저장하는 데이터는 점차 늘어났다. 정부기관은 감시카메라서 발생한 데이터를 영구 저장하길, 군수업계는 위성을 통해 얻은 정찰 정보를 보관하길 원했다. 영화업계도 변했다. 필름 비용이 아쉬워 매 장면 촬영에 신중을 기해 보관했던 기존 촬영방식에서, 디지털 장비가 보급되고 쉽고 간편하게 촬영이 가능해지자 무한정 찍기 시작했다. 지네 수석 부사장 설명에 따르면, 감독들은 더 이상 카메라 장비 전원을 끄지 않았다고 한다.


“디스크 중심의 전통적인 데이터 저장 방식은 빅데이터 저장에 바람직하지 않습니다. 데이터를 보호하기 위해 레이드를 사용하는데, 레이드를 사용하면 드라이브에서 각 데이터를 다시 불러들여야 합니다. 데이터 양이 많을수록 시간이 오래 걸리지요. 불러들인 데이터를 재구성할 때 발생하는 정보손상도 무시할 수 없습니다. 비용도 무시할 순 없구요”


보통 데이터 손실을 방지하기 위해 기업들이 취할 수 있는 전략은 크게 2가지다. 레이드를 미러링해 보관하거나 구글과 아마존처럼 데이터를 복사해 여러 곳에 저장하는 방식이다. 모두 비용 문제에 부딪히기 마련이다. 데이터가 늘어날 수록 스토리지도 더 많이 사야한다. 미러링을 하거나 복제가 들어날 경우 데이터 관리 비용이 증가한다. 빅데이터가 되면서 각 기업들은 데이터를 보관 안 할수도, 손쉽게 보관 할 수도 없는 진퇴양난에 빠진다. 분석에 앞서 저장이 중요한 이유다. 퀀텀은 이 틈새를 노렸다.


“순방향 오류 정정 기술(스토어넥스트 티어드 데이터 매니지먼트)이라는 새로운 기술을 개발했습니다. 각 데이터 파일의 모든 정보를 복사해서 저장하는 게 아니라, 각 데이터 파일의 핵심 정보인 메타데이터만을 뽑아 정리하는 방식을 통해 스토리지 공간을 차지하는 방식입니다.”


이 기술은 기본적으로 저장을 위한 기술로 500TB 이상의 이르는 데이터를 보관할 때 효과를 발휘한다. 각 데이터가 차지하는 공간이 적기에 비용 문제도 해결할 수 있으면서, 동시에 가용성과 내구성이 뛰어난 스토리지를 만들 수 있다. 퀀텀은 새로운 저장방식을 통해 방송사, 유전자 연구소, 정부기관을 대상으로 빅데이터 저장 기술의 중요성을 알려나갈 계획이다.


“과거엔 유전자 서열이 사람에만 국한돼 있었습니다. 이제 법의학, 농업, 임상 등 다양한 범위로 확대됐지요. 사망 이후에도 데이터를 저장하는 사례가 늘어나고 있습니다. 데이터 분석의 시작은 앞으로 데이터를 어떻게 비용 효율적으로 저장하고 있느냐에 달려있다고 봅니다.”


※ 본 내용은 (주)블로터 앤 미디어(http://www.bloter.net)의 저작권 동의에 의해 공유되고 있습니다.


[원문출처 : http://www.bloter.net/archives/118172]

맨 위로
맨 위로