[Splunk] 산업용 IoT 시장 및 기술동향과 빅데이터 플랫폼으로서의 Splunk ①

1. 산업용 IoT란 무엇인가
근래에 IoT(Internet Of Things)에 쏟아지는 관심은 빅데이터라는 개념이 시장에 처음 등장했을 때를 떠올리게 한다. 빅데이터가 전에 없던 새로운 영역을 지칭했던 것이 아니듯, IoT 역시 이전에 없던 새로운 개념은 아니다.

모든 사물을 하나로 연결할 수 있다는 개념은 유비쿼터스라는 용어로, 이미 세상에 그 가능성을 드러내 보였던 전적이 있다.

IoT는 크게 B2C영역에 속하는 소비자 중심 IoT(Consumer IoT)와 B2B영역에 속하는 산업용 IoT(Industrial IoT)로 구분할 수 있다. 일반적으로 IoT하면 소비자 중심 IoT(Consumer IoT)에 속하는 홈 네트워크 내 어플라이언스들의 연결, 다양한 웨어러블 기기, 스마트폰을 통한 기기제어 등을 떠올리게 되지만, 산업용 IoT(Industrial IoT) 시장의 성장 잠재력을 간과해서는 안된다. 

많은 전문가들은 2020년이 되면 산업용 IoT(Industrial IoT) 기기의 수가 소비자 중심 IoT(Consumer IoT) 또는 스마트폰 수를 초과하게 될 것이라고 예측하고 있으며 보수적인 전문가들 조차 2012년 기준으로 200억 달러(약 21조3100억원) 규모였던 산업용 IoT(Industrial IoT)에 대한 기업들의 투자 규모가 2020년엔 5000억달러(532조7500억원)로 25배 이상 커질 것으로 전망하고 있다.

앞으로 2회에 걸쳐 산업용 IoT의 기술동향과 빅데이터 플랫폼으로서의 Splunk, 그리고 산업용 IoT 분야에서의 적용 사례에 대해 알아보고자 한다.

2. 산업용 IoT 현황
Industrial IoT, IIoT, I2oT, Industry 4.0 등 다양한 명칭으로 불리우는 산업용 IoT는 운송, 제조, 소비재, 석유, 가스, 화학, 플랜트 등 산업 분야 전반에 걸쳐 적용되고 있다. 사실 업체나 기관마다 IoT에 대한 정의가 제각각 이지만, 일반적으로 IoT 아키텍처는 아래 그림과 같이 크게 세 계층으로 구분할 수 있다. 

첫번째는 실제로 자동화 공정에 산재하는 수많은 센서, 액츄에이터, 디바이스와 같은 물리적인 측정 기기들로서 사물인터넷(Internet of Things)에서 사물(Things)을 담당하는 계층이다. 머신데이터의 발생 근원지라고 할 수 있다. 

두번째는 이런 사물(Things), 즉 디바이스들을 연결하는 ‘게이트웨이/네트워크 인프라’ 계층으로, 각 디바이스에서 생성되는 데이터를 모아주는 통로 역할을 한다. 이더넷은 물론, RFID, ZIGBEE, WIFI, Bluetooth 등 무선통신을 비롯해 5WCDMA, LTE 등과 같은 이동통신 기술이 사용되며, REST, XMPP, CoAP, MQTT 등 다양한 프로토콜을 지원한다.

세번째는 네트워크를 통해 수집된 데이터의 통합, 분석, 처리, 시각화를 담당하는 애플리케이션/서비스 계층이다. 수집 데이터를 대상으로 플랫폼 기반의 다양한 산업용 애플리케이션 및 서비스가 운영된다. 

산업용 IoT 시장을 선도하는 업체들이 지원하는 IoT 아키텍처는 자사가 보유하고 있는 기술 및 진출 산업분야에 따라 서로 다르다. 앞서 언급한 계층을 기준으로 애플리케이션/서비스 플랫폼만을 지원하는 업체가 있는가 하면, 애플리케이션/서비스 계층은 물론 게이트웨이/네트워크 인프라 및 사물에 대한 기술력까지 보유한 업체도 있다.

▲ 그림 1. 3계층으로 구분되는 IoT 아키텍처

현재 국내 산업용 IoT 시장에는 인텔(Intel), 시스코(Cisco), IBM, 오라클(Oracle), 마이크로소프트(Microsoft), 제너럴 일렉트릭(GE), 로크웰 오토메이션(Rockwell Automation), NI 및 어드밴텍(Advantech) 등 대부분의 글로벌 업체가 진출해 있으며, 주로 제조/생산 분야의 스마트팩토리 분야에 집중되어 있다.

즉 기존 산업자동화 시장의 강자들이 산업용 IoT 시장을 이끌고 있다고 할 수 있다. 국내 업체의 경우 LG CNS, 포스코 ICT, 삼성SDS, SKC&C 등의 IT분야 대기업들이 출사표를 내는 등 적극적인 행보를 보이고 있다. 

3. 선도업체의 산업용 IoT 전략
그렇다면 산업용 IoT 시장에 발빠르게 대처하고 있는 선두업체들의 IoT는 어떤 모습일까? 제너럴 일렉트릭(GE), 인텔(Intel), 시스코(Cisco)가 정의하는 IoT에 대해 살펴보도록 하겠다.

3-1. 제너럴 일렉트릭(GE)
IoT라는 개념을 가장 먼저 도입한 기업은 항공기 엔진, 가전제품, 의료기기 등 세계적인 제조업체인 제너럴 일렉트릭(GE)이다. 제너럴 일렉트릭은 2014년 프리딕스(Predix)라는 제조용 IoT 플랫폼을 출시했는데 이 플랫폼을 통해 자사의 1조개의 관리자산에 부착된 1천만개가 넘는 센서에서 발생하는 대용량 데이터를 분산 저장하여, 수집, 분석, 모니터링하고 있다.

현재 프리딕스는 특정 산업분야가 아닌 우주/항공, 의료, 제조, 광산, 발전, 풍력 등 전 산업계에 적용되고 있으며 제너럴 일렉트릭은 프리딕스를 클라우드 방식으로 외부에 공개하여 안드로이드나 iOS와 같이 산업용 IoT 업계의 표준 플랫폼으로 만들려는 계획을 실행에 옮기고 있다. 

▲ 그림 2. 프리딕스(Predix)를 기반으로 한 제너럴 일렉트릭(GE)사의 IoT 전략 (출처 : GE 홈페이지).

3-2. 인텔(Intel)
인텔의 IoT는 아래 그림에서 볼 수 있듯이 IT 인프라를 전방위적으로 포괄하는 형태다. IoT와 관련하여 인텔이 제공하는 솔루션은 디바이스 및 클라우드 관리모듈인 Wind River Edge Management System, 단말기기 컴퓨팅과 클라우드 분석의 결합을 가능하게 하는 Intel Galileo 보드/ Intel Edison 모듈/ Intel IoT Gateway 개발 키트 시리즈 등이다.

▲ 그림 3. 인텔(Intel)의 IoT 플랫폼(출처 : 인텔 홈페이지).

▲ 표 1. 인텔(Intel)의 IoT 플랫폼.

인텔 자사 제품군을 기반으로 하는 IoT 아키텍처에 타사 솔루션과의 연동을 지원하여 클라우드를 통한 데이터 분석 및 통찰력을 제공하겠다는 것이 인텔의 목표다.

3-3. 시스코(Cisco)
제너럴 일렉트릭이 애플리케이션/서비스 계층에 해당하는 IoT 플랫폼, 인텔이 사물, 게이트웨이/네트워크 인프라, 애플리케이션/서비스 전 계층을 아우르는 IoT 플랫폼을 제공한다면 시스코는 ‘게이트웨이/네트워크 인프라’ 계층에 해당하는 IoT 플랫폼을 제공한다고 할 수 있다. 

<
▲ 그림 4. 시스코(Cisco) IoT 전략의 핵심기술인 포그 컴퓨팅을 구현하는 IOx (출처 : 시스코 블로그).

시스코가 제공하는 IoT 플랫폼은 방대한 양의 데이터를 먼 곳에 있는 대용량 데이터 서버에 저장하지 않고, 데이터 발생 지점 근처에서 처리하는 포그 컴퓨팅(Fog Computing) 기술을 기반으로 하는데, 포그 컴퓨팅 기술의 핵심은 시스코 네트워크 운영체제인 IOS에 리눅스를 통합한 IOx다.

시스코 IOx는 분산 컴퓨팅 기능을 제공하는 한편, 디바이스와 클라우드 간 중간 레이어를 형성함으로써 궁극적으로 포그라는 개념을 구현할 수 있게 하는 애플리케이션 구현 프레임워크를 제공한다.  

3-4. 선두 업체 산업용 IoT 전략의 한계
이미 업계에 보급된 칩, 센서, 디바이스, 네트워크 인프라 등 자사 제품을 활용한 산업용 IoT 선두 업체들의 IoT 전략을 살펴봤다. 그러나 이쯤에서 반드시 던져야 하는 질문이 있다.

디바이스 혹은 게이트웨이의 제조사가 인텔이 아닌 경우, 시스코 장비가 아닌 네트워크 장비를 사용하는 경우, 제너럴 일레트릭 자동화 센서를 사용하지 않는 경우, 각 계층에 이기종 디바이스, 칩, 게이트웨이 등이 혼재된 경우, 제조, 물류, 석유화학, 자동제어 분야에서의 IoT는 불가능한 것인가? 특정 벤더 기술에 종속되지 않은 IoT를 위한 플랫폼이 필요한 이유가 바로 여기에 있다.

4. 산업용 IoT를 위한 빅데이터 플랫폼 Splunk
4-1. Splunk의 탄생
반복되는 디버깅 업무를 획기적으로 간소화하고자 했던 엔지니어의 순수한 열정에 의해 탄생한 Splunk는 2003년 ‘로그파일을 위한 구글(like Google for log files)’을 모토로 로그분석 툴, ‘빅데이터를 위한 검색엔진’을 거쳐 현재의 빅데이터 플랫폼으로 변모해왔다.

Splunk를 IoT를 위한 플랫폼으로 먼저 소개하기에 앞서 이제까지 Splunk가 적용된 사례를 살펴보면 대부분 물리적/가상 시스템 및 클라우드 환경에서 생성된 대량의 머신 데이터 스트림을 쉽고 빠르고 안전하게 분석하고, 보안사고를 방지하며, 실시간 시각화 기능을 통해 운영 인텔리전스를 확보하기 위한 목적으로 사용되어 온 것이 사실이다. 

그러나 이 글에서 Splunk를 IoT를 위한 플랫폼으로 소개하는 이유는 우선 IoT 플랫폼이 기본적으로 빅데이터 처리기술을 아우르는 구조가 되어야 하기 때문이다.

또한 플랫폼이라는 구조적 특성상 데이터가 산재하는 어느 분야에도 적용할 수 있는 전천후 솔루션이기 때문이다. 그렇다면 이제부터는 왜 Splunk가 IoT를 위한 플랫폼으로서 최적인지 대표적인 강점들을 알아보기로 하겠다.

▲ 그림 5. 빅데이터 플랫폼으로서의 Splunk (출처 : Splunk 홈페이지).

4-2. 간단한 아키텍처 및 뛰어난 확장성
Splunk는 그림에서 보는 바와 같이 포워더(Forwarder), 인덱서(Indexer), 검색헤더(Search Header)로 구성되는 3-티어 구조를 기반으로 한다.

데이터 발생 근원지에 설치되거나 단독(standalone) 인스턴스로서 데이터를 수집하는 에이전트인 포워더, 포워더에서 던져주는 데이터의 인덱싱을 담당하는 인덱서, 여러 인덱서를 대상으로 검색을 수행하는 검색 헤더로 구성된다.

여기에 Django 웹 프레임워크를 기반으로 한 웹 프레임워크가 Splunk의 UI를 담당하고 있다. 이렇듯 아키텍처가 매우 간단하여 확장이 쉬우며, 기 구축된 시스템의 변형을 가하지 않고 연동이 가능하다는 것이 가장 큰 장점이다. 

다수의 검색헤더, 다수의 인덱서를 사용하여 수평적 확장이 가능하며 여러 지역 또는 데이터센터에 걸친 물리 또는 가상 인프라의 수백 테라바이트 데이터를 수집 및 인덱싱 할 수 있다. 또한 저가형 분산 컴퓨팅 환경에서 확장이 쉽고 간편하여 클러스터링 구조를 통해 높은 가용성을 확보할 수 있다. 

▲ 그림 6. Splunk 아키텍처 (출처 : 시스코 블로그).

4-3. 수집 가능한 데이터의 다양성 및 빠른 인덱싱
Splunk는 가상 머신, 각종 IT 장비, 네트워크 장비, 운영 체제, 센서, 액츄에이터 등 매우 다양한 소스에서의 머신 데이터를 소스 혹은 위치에 관계없이 실시간으로 수집하고 인덱싱한다. 즉 Splunk가 수집할 수 있는 데이터의 종류에는 제한이 없다.

또한 데이터 인덱싱 시 별도의 스키마를 요구하지 않는데 바로 이 점이 기존 관계형 데이터베이스가 데이터를 저장하는 방식과 가장 큰 차이점이다. 이로 인해 수집 후 즉시 인덱싱이 시작되어 실시간 검색 및 분석이 가능하게 되는 것이다. 

4-4. 자체 검색 언어 사용
Splunk의 자체 검색 언어인 검색 처리 언어(Search Processing Language, SPL)를 사용하여 인덱서에 저장된 데이터를 대상으로 검색이 실행된다.

데이터에 대한 정보추출, 수학 및 통계연산, 차트 및 그래프 생성, 필터, 정렬, 변형을 지원하는 명령어로 구성된 SPL은 SQL과 유사한 문법구조이기 때문에 Splunk를 다뤄보지 않은 개발자/운영자라도 기초 SQL문법만 안다면 자유롭게 원하는 데이터를 분석해 내고 원하는 형태의 대시보드를 화면으로 구성할 수 있다.

▲ 그림 7. 1,000여개가 넘는 Splunk 플랫폼 기반의 앱들 (출처 : Splunk 홈페이지).

4-5. 활발한 앱 생태계
앞서 설명한 것처럼 Splunk는 플랫폼 구조다. 즉 Splunk를 기반으로 무수히 많은 기능들을 만들어내는 것이 가능하다.

안드로이드/iOS 플랫폼을 기반으로 다양한 앱들이 개발되어 앱스토어에 공유되고 있는 것처럼 Splunk 역시 Splunk 기반의 무료/유료 앱들이 공유되는 앱 생태계가 활성화되어 있다. 아마존 키네시스((Amazon Kinesis), 아파치 분산 메시지 큐 시스템 카프카(Kafka)와 연동 가능한 앱, 라즈베리 파이(Raspberry Pi)를 위한 포워더 등 IoT 구현을 위해 이미 개발된 다양한 앱을 활용할 수 있다. 

4-6. 산업용 IoT 분야에서 Splunk의 역할
Splunk 기반 IoT 플랫폼은 앞서 설명했던 IoT 아키텍처 중 애플리케이션/서비스 계층에 해당된다고 할 수 있다. ‘인터넷으로 연결된 사물(Internet of Things)’ 중심에 Splunk가 위치한다.

벤더 기술에 상관없이 사물에서 발생하는 데이터 종류에 상관없이 Splunk는 모든 사물을 하나로 연결해 준다. 이것이 바로 Splunk가 표방하는 IoT다.

5. 맺음말
이번 호에서는 전반적인 산업용 IoT시장 및 기술 동향과 주요 선두업체들의 산업용 IoT 전략을 살펴보았다.

이후 빅데이터 플랫폼인 Splunk에 대해 설명하고 Splunk의 대표적인 강점인 간단한 아키텍처 및 뛰어난 확장성, 수집 가능한 데이터의 다양성 및 빠른 인덱싱, SQL과 유사한 자체 검색 언어 사용, 활발한 앱 생태계에 대해 설명했다. 

이런 장점 덕분에 확실히 Splunk가 구현하는 IoT 플랫폼은 기존 선두업체가 제시하는 산업용 IoT 플랫폼과 비교했을 때 훨씬 유연한 아키텍처임을 알게 되었을 것이다.

앞에서 언급했지만 Splunk의 유연한 아키텍처가 중요한 이유는 특정 벤더의 사물(Things)도 아니고 특정 기술에 종속되지 않으며, 어떤 사물(Things)도 쉽게 연결할 수 있도록 함으로써 글자 그대로의 IoT(사물 인터넷)를 구현하는 핵심기술이기 때문이다.

글 : 이미정, MDS테크놀로지 IS사업부 mijoung@mdstec.com
자료제공 : MDS테크놀로지(www.mdstec.com)

※ 본 내용은 (주)테크월드(http://www.embeddedworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
    Copyright ⓒ Techworld, Inc. 무단전재 및 재배포 금지

[원문출처 : http://www.embeddednews.co.kr/news/articleView.html?idxno=11591]