강윤희 백석대학교 정보통신학부 부교수
yhkang@bu.ac.kr
▲ HDFS 아키텍처
최근 IDC의 디지털 유니버스(Digital Universe) 연구에 따르면, 전 세계적으로 저장되는 데이터의 총 용량이 2020년까지 44 제타바이트(zettabyte)에 이르며, 매 2년마다 데이터 크기는 2배씩 증가할 것으로 예상한다. 2012년 Gartner는 빅데이터(big data)를 향상된 인사이트(insite)와 효과적인 의사결정을 위한 대용량, 고속 및 다양한 특성을 가진 혁신적인 처리가 요구되는 정보자산(information asset)으로 정의하였다.
현재 구글, 페이스북, 아마존 등의 인터넷 기업은 클라우드 컴퓨팅(cloud computing) 환경의 데이터센터에 구축된 계산자원을 활용하여 개인 또는 조직에 필요한 인사이트를 제공하기 위한 빅데이터 분석을 제공하고 있다. 과학연구 분야에서도 시뮬레이션 중심의 연구방법은 계측 및 센싱 장비의 도입으로 페타바이트(pate byte) 수준으로 데이터 폭발이 진행되고 있으며, 이 과정에서 데이터 중심으로 연구방법이 진화하고 있다.
국내에서도 빅데이터가 IT 업계의 화두가 되고 있으마 이를 처리하고 분석하기 위한 분산데이터 처리 기술은 제한적으로 사용되고 있다. 이러한 분산데이터 처리는 조직 내부 및 외부 데이터를 사용하며, 현재 및 과거 자료를 활용하여 예측 및 연관성 분석을 수행한다.
본 고에서는 최근 ICT 환경 및 기술의 변화를 살펴보고 빅데이터 처리를 위한 Map Reduce 프로그래밍 모델의 구조 및 특징을 기술한다. 또한 오픈소스 기반의 빅데이터 처리를 위한 MapReduce 플랫폼을 설명하고 이들을 비교함으로써 문제점 및 해결방안을 기술한다. 본 고의 2장에서는 주요ICT 환경 및 기술 변화 동향, 3장에서는 MapReduce 프로그래밍 모델, 4장에서는 Hadoop을, 5장에서는 Twister를 소개하고 이들 프레임워크를 비교한다. 6장에서는 결론을 맺는다.
| [순서] 1. 서론 2. ICT 환경 및 기술 변화 3. MapReduce 프로그래밍 모델 4. Hadoop 5. Twister 6. 결론 |
※ 본 문서 내용은 원 저작자의 저작권 동의에 의해 공유되고 있습니다.
| 번호 | 제목 | 작성자 | 조회수 | 작성 |
|---|---|---|---|---|
| 공지 | [2024년] 오픈소스SW 라이선스 가이드 개정판 발간 file | support | 4203 | 2024-01-03 |
| 공지 | [2024년] 기업 오픈소스SW 거버넌스 가이드 개정판 발간 file | support | 3394 | 2024-01-03 |
| 공지 | [2024년] 공공 오픈소스SW 거버넌스 가이드 개정판 발간 file | support | 3367 | 2024-01-03 |
| 공지 | 공개 소프트웨어 연구개발(R&D) 실무 가이드라인 배포 file | support | 15811 | 2022-07-28 |
| 공지 | 공개소프트웨어 연구개발 수행 가이드라인 file | OSS | 15667 | 2018-04-26 |
| 198 | [2014년 9월 기준] 비즈니스용 공개SW 솔루션 리스트 file | OSS | 1268 | 2014-11-19 |
| 197 | [2014년 9월 기준] 데스크탑용 공개SW 솔루션 리스트 file | OSS | 1397 | 2014-11-19 |
| 196 | [2014년 9월 기준] 서버용 공개SW 솔루션 리스트 file | OSS | 1247 | 2014-11-19 |
| 195 | [ICT 기획시리즈] 빅데이터 활용을 위한 오픈소스 기반 분산데이터 처리 프레임워크 동향 file | OSS | 1753 | 2014-09-16 |
| 194 | 리눅스 배포판 현황과 해외 공공기관 도입사례 | OSS | 2127 | 2014-08-19 |
| 193 | 특허 전쟁의 중심, 소프트웨어로 이동 중 | OSS | 1598 | 2014-07-22 |
| 192 | [2014년 6월 기준] SW 품질검증분야 공개SW 솔루션 리스트 file | OSS | 1330 | 2014-07-21 |
| 191 | [2014년 6월 기준] 클라우드, 빅데이터 분야 공개SW 솔루션 리스트 file | OSS | 1124 | 2014-07-21 |
| 190 | [2014년 6월 기준] 임베디드분야 공개SW 솔루션 리스트 file | OSS | 1300 | 2014-07-21 |
| 189 | [2014년 6월 기준] 서버용 공개SW 솔루션 리스트 file | OSS | 1285 | 2014-07-21 |
0개 댓글