본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

시만텍, 하둡 솔루션 출시…호튼웍스와 맞손

OSS 게시글 작성 시각 2012-08-16 15:57:19

2012년 08월 15일 (수)

ⓒ 블로터닷넷, 이지영 기자 izziene@bloter.net


IBM, 오라클, EMC, 테라데이타, MS, 사이베이스 같은 데이터베이스(DB) 업체들이 하둡 관련 솔루션을 출시하면서, 사실상 빅데이터 처리와 분석을 위한 플랫폼 시장에서 하둡은 표준이 됐다. 이런 하둡을 더이상 무시하긴 힘들다고 판단했던 것일까. 스토리지 업체인 시만텍도 하둡을 품었다. 빅데이터 시장에서 조금이나마 목소리를 높이기 위한 시도로 풀이된다.


시만텍은 8월13일(현지기준) 호튼웍스와 손잡고 자사 데이터 관리 솔루션인 ‘클러스터 파일 솔루션’에 아파치 하둡 솔루션을 더한 새로운 빅데이터 관리 솔루션인 ‘시만텍 엔터프라이즈 솔루션 포 하둡’을 출시했다고 발표했다. 기존 솔루션에 하둡 커넥터를 비롯해 맵리듀스와 하둡 스택을 추가함으로써 고객들이 대용량 데이터를 더 원활하게 처리하고 분석할 수 있게 돕겠다고 나섰다.


하둡은 분산처리 시스템인 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술인 맵리듀스를 구현한 오픈소스 프레임워크다. 아파치 소프트웨어 재단 소속으로 HDFS외 PIG, HBASE 같은 프로그래밍 언어를 포함하고 있다.


하둡은 오픈소스다보니 소셜미디어, 센서, 웹로그 같은 대용량 데이터를 저렴하면서도 빠르게 분석할 수 있게 도와준다. 기존에 슈퍼컴퓨터로 며칠씩 돌려야 했던 데이터를 하둡을 이용하면 x86 서버로도 실시간 분석이 가능해질 정도다. 게다가 HDFS와 맵리듀스는 현재 나온 솔루션 중에서 가장 안정적이면서 레퍼런스도 풍부하고 엔지니어링 소싱도 다소 쉽다고 알려져 있다. 기업에서 필요한 데이터 저장과 관리에 안성맞춤인 셈이다.


시만텍 역시 이를 놓칠리 없다. 시만텍은 현존하는 데이터 솔루션은 빅데이터를 처리하기에 탄력성이 부족했다며 호튼웍스와의 협력을 통해 데이터 확장성과 고가용성, 탄력성이 향상된 솔루션을 선보일 수 있게 됐다고 설명했다. 솔루션 포 하둡 하나면 비용과 복잡성은 줄이면서 병렬 인프라 환경을 만들 수 있다면서 말이다.


돈 안스파트 시만텍 제품관리 겸 스토리지 관리 그룹 부사장은 “기업이 데이터를 처리하기 위해 지금까지 도입한 인프라를 하루 아침에 새로운 걸로 바꿀 순 없는 노릇”이라며 “솔루션 포 하둡은 기업 내 기존 스토리지 환경으로도 하둡의 장점을 누릴 수 있게 도와준다”고 말했다.



10년전만 해도 DB나 스토리지가 다루는 데이터 양이 테라바이트(TB)에 달하면 대용량 데이터를 처리할 줄 안다며 어깨를 으쓱였다. 지금은 TB급의 데이터는 대용량 데이터에 속하지도 않는다. 이제는 수천 TB를 넘어 PB에 이르는 데이터를 처리할 줄 알아야 그나마 빅데이터를 처리한다고 인정받는다.


데이터가 갑장스레 늘어나자 기업들도 자연스레 급증한 데이터를 어떻게 처리할 것인지를 고민했다. 처음에는 스토리지를 추가하는 방식으로 급증하는 데이터를 감당했다. DAS, NAS, SAN 등의 스토리지를 추가해가며 빅데이터를 감당했고 이를 DB가 처리했다. 호미로 막을 것을 가래로 막는 시기었다. 결국 비용 문제에 부딪혔다.


시만텍은 솔루션 포 하둡을 통해 SAN에서 빅데이터를 처리할 수 있게 도와주겠다고 나선 셈이다. SAN으로 모아진 데이터를 클러스터 파일 시스템으로 처리한 뒤 여기에서 모아진 정보를 하둡 커넥터로 보내 빠른 시간 내 정보를 처리하고 분석하겠다는 계획이다. 솔루션 포 하둡은 정형과 비정형 데이터를 포함해 최대 16페타바이트(PB)에 이르는 데이터를 처리할 수 있다. 시만텍은 하둡을 도입한 덕에 병목현상 없이 분석 작업을 처리할 수 있으며, 클러스터 노드에서 발생하는 단일 장애 가능성을 줄일 수 있다고 덧붙였다.


데이터 처리와 확장성을 얘기하지만 시만텍도 결국 빅데이터 분석 시장에 뛰어들기 위해 하둡은 안은 것으로 보인다. DB와 데이터웨어하우스(DW) 진영은 이미 하둡 지원을 통해 사회관계망 서비스(SNS), 동영상, 사진 자료 등 다양한 비정형 데이터들의 홍수 속에서 원하는 데이터를 적시에 실시간으로 분석할 수 있는 솔루션을 선보였다. 지금까지 빅데이터 시장을 겨냥한 분석 솔루션을 별도로 출시하지 않은 시만텍이지만, 경쟁업체들이 빅데이터 분석 시장에서 목소리를 높이고 있는데 혼자만 목소리를 내지 않는것도 이상하다.


IDC를 비롯한 시장조사업체들도 하둡 관련 시장을 주목하고 있다. IDC는 ‘하둡과 맵리듀스 생태계 소프트웨어 풍경 2012′라는 보고서를 통해 2011년 7700만달러 수준인 하둡과 맵리듀스 관련 시장이 2016년이 되면 8억1280만달러에 이를 것으로 보인다고 분석하면서 매년 60% 넘게 하둡 관련 시장이 성장한다고 전망했다. 하둡의 가능성을 높이 평가한 셈이다. 이런 시장에서 시만텍만 빠진다면 손해지 않겠는가.


※ 본 내용은 (주)블로터 앤 미디어(http://www.bloter.net)의 저작권 동의에 의해 공유되고 있습니다.

[원문출처 : http://www.bloter.net/archives/122834]

맨 위로
맨 위로