글로벌 IT업계 ‘하둡’ 열풍… EMC에 이어 인텔도 빅데이터위해 하둡 자체 배포판 출시

하드웨어 업체들의 아파치 하둡 품기 열풍이 거세다.

스토리지 업체인 EMC에 이어 반도체칩 업체인 인텔도‘빅데이터’를 사용자들이 사용하기 쉽도록 하기 위해 아파치 하둡을 위한 소프트웨어를 출시했다고 27일 밝혔다. 앞서 EMC도 최근 그린플럼을 활용한 피보탈HD라는 자체 하둡 배포판을 출시한 바 있다.

이번에 인텔이 출시한 자체 아파치 하둡 배포판은 클러스터 시스템의 구성을 간소화시킬 수 있는 하둡 매니저와 하둡 액티브 튜너 등으로 구성돼 있으며, 안전한 분석이 가능하도록 실리콘 단계에서 암호화 지원 기능을 통합한 플랫폼을 제공할 방침이다.

인텔 데이터센터 소프트웨어 부문 보이드 데이비스 총괄 부사장은 “인텔은 업계가 혁신의 한계를 극복하고 빅데이터의 무한한 잠재력을 실현시킬 수 있는 보다 나은 기반을 마련하기 위해 오픈소스 커뮤니티 지원에 전력을 다하고 있다”고 말했다. 

아파치 하둡은 다양하고 많은 양의 데이터를 확장 가능한 서버 클러스터에서 저장하고 처리하기 위한 오픈소스 프레임워크로, 빅데이터 관리에 적합한 플랫폼으로 선호되고 있다. 
이번 발표로 인텔은 아파치 하둡상에 구축된 혁신적인 공개 플랫폼을 제공할 방침이다. 

인텔 하둡 배포판은 업계 최초로 자사의 제온 프로세서에 AES-NI를 탑재해 전체 암호화가 가능하다. 또한 하둡 분산 파일 시스템(HDFS)의 실리콘 기반 암호화 지원을 통합해 이제 조직들은 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있다는 설명이다.

이밖에 인텔 제온 프로세서 플랫폼에서 네트워킹과 입출력(IO) 기술을 위한 최적화를 지원해 보다 빠른 분석이 가능하다. 이전에는 1테라바이트(TB)의 데이터 분석에 4시간 이상의 처리 시간이 소요된 반면, 현재 인텔의 하드웨어와 인텔 배포판의 조합으로는 7분만에 가능하다.

인텔은 현재 매 11초마다 HD 비디오 13년의 양과 맞먹는 1페타바이트(PB)의 데이터가 생산되고 있으며, 이를 고려할 때 인텔의 기술은 보다 큰 가능성들을 제공할 수 있다고 밝혔다.

이번에 출시한 인텔 아파치 하둡 매니저는 새로운 응용프로그램 설치에 관심을 갖는 시스템 관리자들을 위해 클러스터의 구현, 구성 및 감시를 더욱 간소화시킬 수 있다는 설명이다.

현재까지는 이 작업을 위해 하둡 구성 및 성능 벤치마크와 함께 각 애플리케이션의 시스템 자원 이용에 대한 전문적인 이해가 요구됐지만, 아파치 하둡 소프트웨어를 위한 인텔 하둡 액티브 튜너는 어림짐작으로 성능을 튜닝하지 않도록 최적 성능을 자동으로 구성한다.

인텔은 현재 시스코와 델, 넥스트바이오, 레드햇, SAP, SAS 등 전략적 파트너들과 함께 이 소프트웨어를 다수의 차세대 플랫폼 및 솔루션에 통합하고, 퍼블릭 및 프라이빗 클라우드 환경에 구현이 가능하도록 협력하고 있다. 

이와 함께 인텔 연구소는 대용량 데이터 세트를 그래프로 구성해 데이터 간 관계를 시각화하기 위한 인텔 그래프 빌더 소프트웨어 개발 등 분석 연구를 진행 중이다. 이는 대량의 커스텀 코드 개발의 필요성을 제거해 개발 시간을 줄일 수 있도록 인텔 배포판에 최적화돼 있다. 

인텔 캐피탈도 몽고DB 업체인 10gen 및 빅데이터 분석 솔루션 제공업체 구아버스 애널리틱스를 등 빅데이터 분석에 투자를 강화하고 있다는 설명이다.