|
KT 클라우드웨어는 축적된 경험 및 전문기술을 바탕으로 시스템 구성부터 통합까지 엔터프라이즈 환경에 최적화한 빅데이터 End-to-end 서비스를 제공하는 업체이다.
빅데이터 저장 및 처리를 위해 다양한 공개SW를 활용하여, 대용량 이메일 아카이빙 솔루션(Terapot), Hadoop 관리 솔루션(Hadoop Appliance), 대용량 로그 관리 시스템(Log Analyzer) 등을 개발하고 수년간 Hadoop, NoSQL, Lucene, Memcached 등의 기술력을 보유하고 있으며, 특히 대용량 데이터를 처리하기 위한 All-in-one 솔루션인 NDAP(NexR Data Analysis Platform)을 출시, 이를 여러 산업분야에서 활용함으로써 다양한 빅데이터 구축 사례를 축적하고 있다.
기업 환경에서 데이터를 효과적으로 활용할 수 있는 클라우드 및 빅데이터 환경을 구축함으로써 기업의 경쟁력 확보에 최적화된 솔루션을 제공하기 위해 역량을 집중하고 있으며, 빅데이터를 처리할 수 있는 대용량 배치 분석, 실시간 검색 및 분석, 고급 데이터 마이닝까지 제품군을 확장중이다.
빅데이터 기술을 통한 기존 아키텍처의 한계 극복
KT는 스마트폰 사용자가 급격히 늘어나고 LTE 등 차세대 통신환경이 시작됨에 따라 처리해야할 데이터의 기하급수적인 증가와 더불어 데이터 자체 크기가 커지고 복잡해졌다.
KT클라우드웨어 빅데이터부문 PS본부 정구범 PM은 “데이터 활용을 위해 계속 시스템에 명령문을 날리는데 실행이 제때 되지 않아 명령문이 쌓이고, 데이터 처리에 오랜 시간이 걸리는병목현상 문제에 직면하게 되었다.”고 설명했다.
기존 무선 데이터 분석 시스템 환경에서의 개선을 위해서는 장비 구매의 엄청난 비용이 지속적으로 소요될 것으로 예상되었다.
KT와 KT 클라우드웨어는 이런 문제점을 해결하기 위해 기존 상용 소프트웨어가 아닌 공개SW 기반으로 자체 개발한 NDAP(NexR Data Analysis Platform)솔루션을 접목하여 Hybrid DW 분석 시스템 구축을 결정하였다.
[Hybrid DB 분석 시스템]
그는 “상대적으로 작은 사이즈의 로그 데이터가 많이 발생하는 분야에서는 하둡을 사용한 빅데이터 플랫폼이 적합하고, 데이터가 비교적 큰 고객데이터 등은 RDB로 분석하는 하이브리드 플랫폼이 국내 빅데이터 환경에 적합하다고 보았다”고 구축 배경을 밝혔다.
또한 “단순히 비용절감 차원의 오픈소스 도입을 넘어서, 기업환경의 요구사항 반영 및 공개SW 기반 기술지원을 NDAP 솔루션 도입을 통해 해결하고, 구축 계획부터 고급분석까지 빅데이터 전반의 내부 전문가의 컨설팅을 통해 성공적인 구축을 할 수 있었다.”고 평가했다.
[NDAP 공개SW 도입 기술]
Hybrid DW 분석 시스템을 구축함에 있어 다양한 요구사항에 대응할 수 있는 공개SW를 도입하여 활용하였다.
기존의 RDBMS SQL 처리와 동일한 처리 및 결과를 확보하기 위해 Hive를, 지속적으로 증가하는 데이터의 수용 가능한 적재 확장성과 처리성능의 선형적 확장성 구현에는 Hadoop, RealTime 성능 확보에 Hbase와 ElasticSerch, 새로운 데이터 분석 기법에 대한 수용력 확보에 R&Rhive를 활용하여 기존 RDB 환경도 유지하면서 빅데이터 플랫폼을 수용한 하이브리드 형태를 만들었다.
하둡 같은 빅데이터 기술을 도입한다고 해서 기존 RDB 환경을 완전히 없애는 게 아니라, 기존 RDB 환경도 유지하면서 빅데이터 플랫폼을 수용한 하이브리드 형태로 만든 것이다.
[KT 빅데이터 플랫폼]
기존 데이터 처리 구조보다 88%의 비용 절감 효과 기대
KT 클라우드웨어는 올해 200 Node 이상, Raw Disk 1 PB 이상의 규모로 오픈할 계획이고, 내년엔 데이터 수용 범위 및 장비를 점차 확대할 예정이다.
하이브리드 형태로 구축된 플랫폼에서 향후 최대 2페타바이트(PB)까지 데이터가 늘어난다고 가정했을 때, 기존 데이터 처리 구조보다 88%의 비용 절감 효과를 누릴 수 있을 것으로 기대하고 있다.
KT 클라우드는 빅데이터 플랫폼 구축을 통해 앞으로 5년간 시스템 설치와 운영 비용이 567억원 가량 절감될 것으로 예상하고 있으며, 향후 플랫폼을 확대 적용해 다양한 데이터를 융합하여 처리할 계획이다.
“공개SW도 Hybrid로 극대화”
KT 클라우드웨어 빅데이터부문 PS본부 정구범 PM
Q1) 공개SW 기반의 솔루션 도입에서 중요하게 고려해야 할 사항은?
많은 회사들이 공개SW를 요구사항에 맞게 통합하고 UI를 별도로 만들어 솔루션으로 내놓고 있지만, 그것만으로는 실제 구축에서 발생하는 다양한 요구사항을 만족시키기는 어렵다고 본다. 공개SW는 누구나 가져다 쓸 수는 있지만 코어에 참여해서 개발할 수 있는 능력이 없다면 요구사항의 근본적인 대응이 제한적일 수 밖에 없기 때문이다.
반드시 공개SW에 대해 깊은 이해를 가지고 있고 코어 개발이 가능한 커미터를 보유한 업체가 만든 솔루션인지 확인하는 것이 공개SW를 정말 제대로 도입하는 길이라 생각한다.
Q2) 빅데이터를 Hadoop으로 처리하는 것이 실제로 유용한 방법인가?
보통 기업들은 수십~수백TB 이상의 대용량 데이터를 빅데이터라고 오해하고 있다. 빅데이터는 단지 크기만을 논하는게 아니라, DB에 있든 파일에 있든 외부의 OpenAPI에 있든 그 종류를 가리지 않고 다양한 데이터를 융합하여 다양한 방법으로 분석하고 원하는 형태로 결과를 얻을 수 있는 기술 대명사라고 할 수 있다.
Hadoop은 오랜기간 발전하면서 대용량 데이터를 보다 자유스럽게 다룰 수 있는 기술적 기반을 발전시켜왔기 때문에 다른 어떤 공개SW보다 저변이 넓다. 하지만 구조적으로 대용량 데이터의 배치처리에 더 장점이 많기 때문에 이를 활용하는 것이 더 적합한 케이스라고 생각한다.
하지만 일반적인 RDB에서 다루는 수십~수백GB 수준의 신속한 OLTP 처리에 훨씬 미치지 못하는 성능에 실망하는 분들도 있기 때문에 Hadoop이 빅데이터의 만능열쇠라고 단정할 수 없으며, 저마다의 환경과 요구사항을 충족할 수 있는 상용SW나 다른 공개SW와 어우러진 아키텍쳐를 통해서 Hadoop이 가진 장점을 최대한 극대화하여 사용하는 것이 가장 이상적인 모습이라고 본다.
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 114 | [공개SW 활용 성공사례 72] KT 클라우드웨어 - 한국형 빅데이터 Hybrid DW 분석 시스템 구축 | 1583 | 2013-02-19 |
| 113 | [공개SW 활용 성공사례 71] 엘브이스터디 - 공개SW 기반 웹사이트로 차별화된 학습 서비스 제공 | 1271 | 2013-02-13 |
| 112 | [공개SW 활용 성공사례 70] 팬택 - 공개SW 도입에 따른 기술 내재화로 제품 경쟁력 강화 | 1245 | 2013-02-05 |
| 111 | [공개SW 활용 성공사례 69] 에카픽 - Cocos2d 개발엔진 도입으로 게임 몰입도 상승 | 1567 | 2013-01-29 |
| 110 | [공개SW 활용 성공사례 68] 국가교통정보센터 - 시스템 성능 개선을 통해 원활한 지도기반 모바일 교통정보 제공 | 1499 | 2013-01-22 |
| 109 | [공개SW 활용 성공사례 67] 엔씨소프트 - 게임 로그 데이터 분석 위한 공개SW 기반 GFIS로 게임 내 부정행위 탐지 | 3295 | 2013-01-15 |
| 108 | [공개SW 활용 성공사례 66] 매직에코 - 오픈소스 HW와 SW로 Thing의 기술 장벽 해결 | 1798 | 2013-01-09 |
| 107 | [공개SW 활용 성공사례 65] 로보티즈 - 주요 휴머노이드 연구에서 공용 플랫폼으로 선정 | 1617 | 2013-01-02 |
| 106 | [공개SW 활용 성공사례 64] 정보통신산업진흥원 - 공개SW 기반 전자문서 유통서비스 구축 | 1379 | 2012-12-21 |
| 105 | [공개SW 활용 성공사례 63] 기상청 - 오픈 소스 GIS 소프트웨어를 활용한 지도 기반 날씨 정보 제공 | 1653 | 2012-12-18 |
0개 댓글