본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

인텔, 하둡 통해 데이터 공존 방법 모색

OSS 게시글 작성 시각 2013-10-21 16:27:45 게시글 조회수 3626

2013년 10월 20일 (월)

ⓒ 아이뉴스24, 박계현기자 kopila@inews24.com


"7월부터 국내서 판매…표준 하둡 대비 처리속도 20배 빨라"

"데이터가 다양화될수록 의미있는 데이터를 찾게 됩니다. 인텔은 '하둡'을 통해 세상의 모든 데이터들이 의미있게 공존하는 방법을 고민하고 있습니다."

인 텔코리아 손영락 기술담당 이사는 최근 서울 여의도동 인텔코리아 본사에서 기자와 만나 "'어떻게 데이터를 모아 저가로 리얼타임 프로세싱을 할 수 있을까'가 인텔의 고민이고, 이는 자사 솔루션 위주로 사고하는 다른 벤더들과 차별화되는 지점"이라고 말했다.

그는 "인텔은 커뮤니티를 통해 개발되는 오픈소스 솔루션의 성능을 향상시키고 향상된 성능을 표준화시키는데 상당 부분 기여하고 있다"고 전했다.

시장조사기관인 IDC는 하둡과 맵리듀스 관련 시장의 연평균성장률이 매년 60%를 웃돌아 2016년에는 8억1천280만달러 규모에 이를 것이라 전망했다.

이 같은 성장세를 바탕으로 인텔은 지난 2009년 내부 반도체 공정에서 활용코자 개발한 '아파치 하둡'을 공격적으로 사업화시키고 있다. 인텔코리아 역시 지난 7월 국내 분석컨설팅업체인 FK BCG와 리셀러 계약을 체결하고 인텔 아파치 하둡 상용 버전을 판매중이다.

파일 시스템과 분산 처리 플랫폼으로 구성되는 하둡은 '빅데이터'라는 화두를 따라 가는 IT 생태계의 중심이다. 글로벌 하드웨어·소프트웨어 기업들은 빅데이터를 처리하는 가장 경제적인 방안으로 하둡을 선택한 상태.

하둡이 제공하는 분산파일시스템(HDFS)과 맵리듀스(데이터를 분산시켜 처리한 뒤 하나로 합치는 기술) 기능은 비정형데이터에 위치값을 부여해 정형데이터로 처리할 수 있도록 한다.



인 텔은 '인텔 배포판 아파치 하둡'만의 강점으로 표준 하둡 대비 20배 빨라진 속도와 8.5배 빠르게 접근하는 쿼리 속도, 업무 프로파일링·설계를 자동화한 액티브 튜너 솔루션(Active Tuner), 데이터 균일성 유지 기능, 통계분석언어인 R커넥터 제공, 제온 프로세서에 제공하는 별도 암호화 코드 등을 내세웠다.

손영락 이사는 "인텔은 '라이노(Rhino)'라는 오픈소스 보안 프로젝트를 통해 하둡 생태계에 보안 코드를 업데이트해 나가고 있다"며 "하둡이 x86서버를 기반으로 가동되는 경우가 많아 기업체에서 요구하는 보안 수준을 달성하고자 보안 코드나 암호화 원리를 제안하고 있다"고 설명했다.

또 인텔은 '그리폰(Gryphon)' 프로젝트를 통해 아파치 하둡에서 SQL과 비슷한 콘셉과 아이디어를 사용할 수 있게 하는 기능을 추가하고 있다. 하둡과 기존 RDBMS의 연결성을 높여 정형·비정형데이터 모두 실시간에 가깝게 처리할 수 있도록 하는 것이 목표다.

하둡에서 실시간 스트리밍이 가능해지면 빅데이터를 경제적으로 처리할 수 있다는 것 외에도 활용처가 다양하게 늘어날 수 있다.

실 례로 중국 충칭시는 3만개의 CCTV에서 보내오는 15페타바이트(PB) 분량의 이미지를 실시간으로 처리하는데 인텔 배포판 아파치 하둡을 활용했다. H스트리밍 사의 솔루션이 하둡으로 계속 유입되는 데이터를 분석하는 메커니즘을 제공하고 하둡은 이를 배치해, 교통 상황을 관리하고 가짜 승용차를 잡아내는데 사용됐다.

이밖에 인텔판 아파치 하둡은 차이나모바일의 실시간 빌링 데이터 분석시스템 구축, 넥스트바이오의 게놈 분석 프로젝트 등에도 적용됐다. 차이나모바일 프로젝트에는 인텔 제온 E5프로세서로 구성된 133노드의 클러스터를 구축해 월별 30테라바이트(TB)의 빌링 데이터를 처리할 수 있게 했다.

손영락 이사는 "칩 설계, 하둡 설계 시스템, 소프트웨어, 컨설팅이 모두 합쳐질 경우 최적의 결과물을 낼 수 있다는 것이 인텔의 생각"이라며 "빅데이터는 특정 회사가 끌어나갈 수 없는 워낙 큰 시장이고 하둡을 사용하는 회사들이 곧 제온, x86의 고객사들이기도 하다"고 설명했다.

아이뉴스



※ 본 내용은 (주)아이뉴스24(http://www.inews24.com)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지


[원문출처 :http://news.inews24.com/php/news_view.php?g_serial=779142&g_menu=020200]

맨 위로
맨 위로