GE 제조혁신과 야후의 빅데이터 꿀팁..'하둡서밋 2016' 참관기

하둡 서밋 2016의 주요 화두 중 하나는 ‘전환’이다. 전환은 기업의 비즈니스와 우리의 일상 두 측면에서 이루어지고 있다.

최근 많은 기업이 사업에 데이터 전략을 반영하고 있다. 사용자별 맞춤형 자동차 보험, 빅 데이터 기반 금융 사기 방지, 스마트 제조 시설의 예지 정비, 소매 업계에 일고 있는 옴니 채널 환경에서 360도로 고객 바라보기 열풍이 좋은 예이다. 우리가 사는 세상의 전환도 곳곳에서 목격된다. 자율 주행 자동차, IT 기술을 활용한 교육, 기아 문제 해결, 치료가 아니라 예방을 목표로 하는 의료 서비스 등 빅 데이터는 세상을 바꾸고 있다.

■빅 데이터 원조 야후의 꿀팁

지난달 29일(현지시각) 하둡서밋 2016 두 번째 날 기조 연설을 맡은 야후의 피터 모나코 부사장은 ‘이메일은 아직도 유용하다’는 말을 시작으로 이야기를 풀어 갔다.

이메일 사서함의 90% 가까이가 스팸으로 채워진다. 하지만 아직도 야후의 무료 이메일 서비스 이용자 수는 매년 두 자릿수로 늘고 있다. 야후가 처리하는 메시지는 하루 40억 건이 넘는다. 데이터 크기로 보면 매일 30TB의 트랜잭션이 오고 간다. 야후와 같은 무료 이메일 서비스 제공 기업이 늘 어떻게 하면 더 효율적으로, 더 작은 자원을 투입할까 고민하는 이유다.

야후가 택한 데이터 줄이기 방법은 발신자 단위로 압축하는 것이다. 수신 메일 중 상당수는 아마존, 페이스북, 이베이 등 사용자가 가입한 서비스 사업자가 보낸다. 야후의 경우 20% 이상의 수신 메일을 페이스북이 보낸다고 한다.

수신자를 그룹 단위로 묶는 것은 간단한 일이 아니다. 야후의 사용자 메일함을 보면 수신 메시지 옆에 보낸 기업의 로고가 표시된다. 어디서 보낸 것인지 분류해 사용자가 바로 식별할 수 있게 보여 준다. 인프라 부문에서는 발신자 단위 그룹별로 압축이 진행된다. 메일 사용자별로 발신자를 식별하고, 그룹 단위로 분류해 압축하는 핵심 기술이 바로 ‘하둡 기반의 기계 학습’이다.

■HP 엔터프라이즈가 말하는 워크로드 최적화란

야후의 뒤를 이어 기조 연설 무대는 HP 엔터프라이즈(HPE)의 솔루션 엔지니어링 부문 부사장인 크리스 에이들러(Chris Eidler)에게 넘어갔다. HPE는 빅 데이터 참조 모델(Reference Architecture)을 제공한다.

이 모델의 특징은 오픈 소스와 산업 표준을 따르는 가운데 각종 워크로드에 최적화된 인프라를 구성할 수 있다는 것이다. 가령 HPE 참조 모델에 따라 빅 데이터 서버와 플랫폼을 구축하면 낮과 밤에 따른 워크로드별 분석 요구에 맞춰 자원을 효율적으로 사용할 수 있다. 참고로 HPE는 호튼웍스와 첨단 IT 환경을 위한 데이터 플랫폼 관련 전략적 제휴를 맺었다.

▲ 하둡 서밋 2016에서 HPE의 크리스 에이들러 부사장이 기조연설을 하고 있다

■IoT 시대의 숨은 강자 GE가 그리는 제조 혁신

세 번째 기조 연설은 GE의 무대였다. 인더스트리 4.0의 꽃은 사물인터넷(IoT)와 머신 러닝이다. 인더스트리 4.0은 제조 시설 운영(Factory Operation), 공장 자동화(Factory Automation), IT(Information Technology) 간 융합으로 실현된다.

이 세가지 기술 영역이 하나로 모이면 IoT라는 새로운 경로를 타고 흐르는 방대한 정보를 수집해 분석하고 학습할 수 있다. 이는 자동화 그다음 단계인 지능화로 넘어가는 가장 확실한 방법이다. 미지의 영역에 있던 데이터까지 수집할 수 있다면 학습을 통해 OT, AT 통제 시스템은 더 똑똑해질 수 있다.

물론 이를 위해서는 풀어야 할 선행 과제가 있다. IoT와 머신 러닝을 실제 제조 현장에서 어떻게 실현할 것인가? 그리고 학습된 정보를 어떻게 전통적인 컨트롤 시스템에 전달할 것인가? 이 두 가지를 풀어야 한다.

GE는 이 두 가지에 대한 답을 제시하기 위해 노력하고 있다. 또한, GE는 업종을 떠나 고객에게 전달되는 가치는 ‘측정 가능해야 한다’는 신념 아래 IoT와 머신 러닝 관련한 데이터 시각화 방안을 고객에게 제시하는 것에도 노력을 기울이고 있다.

▲ 이른바 '산업 인터넷'으로 제조 혁신에 나선 GE는 하둡 서밋 2016에서 전통적인 제조사가 소프트웨어를 통해 어떻게 혁신을 이뤘는지에 대해 소개했다

■의료, 소매, 에너지 기업의 빅 데이터 활용 사례

둘째 날 기조 연설의 하이라이트는 허브 큐니츠(Herb Cunitz)가 의료, 소매, 에너지 기업 관계자와 함께 마련한 패널 토론이었다. 이 자리에서는 실제 기업 현장에서 어떤 고민을 하고 있는지, 빅 데이터가 해결책으로 어떻게 쓰이는지에 대한 이야기 오갔다.

의료 업계의 고민은 우리와 큰 차이가 없다. 개인정보보호 등 각종 보안 규제를 충족시키는 범위 내에서 빅 데이터를 활용해야 한다. 미국의 경우 하둡 인프라 전반에 걸쳐 어떻게 HIPPA 규제의 암호화/토크나이제이션 등을 통한 데이터 보호 방안, 접근 권한 관리, 사용자 인증, 감사 요건을 맞출 것인지에 대한 논의가 오래전부터 있었다. 관련해 아파치 녹스(Knox), 아파치 레인저(Ranger) 등 다양한 조합을 통해 실질적인 답을 찾은 의료 기관이 하나둘 느는 추세다.

소매 업계의 대표 사례로 나온 메이시 백화점 관계자는 자사의 주요 관심사를 고객 여정(Customer Journey)을 추적하고 분석하는 것이라 설명했다. 소매 업계에 부는 옴니 채널 유행을 고려할 때 향후 고객의 여정은 온라인 클릭 스트림부터 오프라인 고객 행동까지 분석 대상이 될 전망이다. 메이시 역시 향후 고객 개개인에 대한 정밀한 분석을 통한 개인화 서비스의 핵심으로 고객 여정 분석을 정밀하게 다듬을 계획이다.

에너지 기업의 활용 사례는 ETL 부하 분산이었다. 패널에 참석한 코노코필립스(Conocophillips) 켈리 쿡은 하둡은 전통적인 솔루션과 다르다는 견해를 보였다. 그는 하둡을 도입이 아니라 참여의 관점에서 접근했다. 즉, 하둡은 비용을 들여 솔루션을 도입하는 것이 아니라 커뮤니티 참여자(기여자)가 되는 것이다. 다양한 형태의 기여는 여러 혜택으로 되돌아온다. 현재 직면한 고민뿐만 아니라 미처 파악하지 못한 잠재적인 이슈도 여럿이 머리를 맞대 협력하는 커뮤니티의 혁신을 통해 해결할 수 있다는 것이 켈리 쿡이 말하는 하둡의 본질이다.

▲ 하둡 서밋 2016 둘째날의 하이라이트는 빅데이터가 의료, 소매, 에너지 기업에 실제로 어떻게 쓰이는지에 대한 패널토론이었다

■구글이 YRAN을 쓰는 이유

패널 토론의 뒤를 이어 구글의 발표가 진행되었다. 구글의 클라우드 데이터 플랫폼인 Cloud Dataproc의 경우 많은 수의 코어에서 빅 데이터 애플리케이션을 효율적으로 관리하기 위해 YARN을 운영하고 있다. 이를 통해 더 쉽고, 빠르고, 경제적인 데이터 플랫폼 서비스를 제공한다.

참고로 구글의 Cloud Dataproc은 2천 코어 이상의 스파크/하둡 클러스터를 토대로 서비스가 제공된다.

■정밀 의학이 미국의 공공 의료 서비스의 틈을 메울 수 있을까

둘째 날 기조 연설의 마지막은 애리조나 주립대학이 진행했다. 애리조나 주립대학은 호튼웍스와 손을 잡고 정밀 의학(precision medicine) 영역에서의 빅 데이터 활용을 추진하고 있다.

추측과 경험이 아니라 데이터를 근거로 하는 정밀 의학은 미국에서 매우 큰 의미를 지닌다. 사회적 안전망으로 의료보험체계가 제대로 작동하지 않고 있는 미국의 경우 정부 주도만으로 의료 제도 혁신을 꾀하는 데 한계가 있다. 빅 데이터를 활용해 정밀 의학을 발전시키면 치료, 제약 등 여러 부문에서 고비용, 저효율 구조를 깰 수 있다.

바로 이 가능성을 바라보고 미국 주요 의료 기관, 대학은 호튼웍스 등 빅 데이터 업체와 긴밀히 협력하고 있다. 참고로 호튼웍스는 미국 정부에서 정밀 의학(precision medicine) 이니셔티브 컨소시엄에 참여하고 있다. 이 이니셔티브는 인간 게놈 분석을 토대로 정밀 의학 분야에서 공공에 이득이 되는 치료와 제약 기술 혁신을 끌어내기 위해 2015년 시작되었다.