본문 바로가기

구글∙페이스북∙넷플릭스∙에어비앤비의 공통점 '오픈소스'

OSS 게시글 작성 시각 2018-07-12 16:13:10 게시글 조회수 1873

2018년 7월 12일 

 ⓒ CIO Korea, Matthew Finnegan | Computerworld UK onebyone.gif?action_id=6467838bd2fe8bfa2084efb009e64c2

오픈소스 컴퓨팅 프로젝트는 여러 커뮤니티 회원과 공동 작업을 필요로 한다. 초기에는 리눅스재단의 후원으로 개발된 오픈소스 컴퓨팅 프로젝트가 많았다. 하지만 최근 몇 년 동안 페이스북, 마이크로소프트, 구글 등 거대 기술회사가 다양한 오픈소스 프로젝트를 크라우드 소싱하면서 오픈소스 시장에 뛰어들었다.

때로는 내부 문제를 해결하기 위해 더 넓은 커뮤니티에 도움을 구하기도 했다. 전 세계에서 가장 큰 데이터센터를 소유하고 있는 이들 회사는 전례 없는 규모로 데이터를 관리해야 하며 선구적인 기술 개발이 필요한 상태다.

그렇다면 왜 대형 기술회사가 자사의 지적 재산을 더 넓은 세상과 공유할까? 다른 사람들에게 내부 프로젝트를 보여주고 그 대가로 자사의 기술을 무료로 개선할 수 있는 역동적인 개발자 커뮤니티에 접근할 수 있다. 예를 들어 페이스북은 오픈 컴퓨트 프로젝트로 미화 20억 달러의 데이터센터 비용을 절감했다고 밝혔다.

대형 기술회사의 혁신적이고 흥미진진한 오픈소스 프로젝트를 소개한다.
 

1. 구글 – 쿠버네티스

20180712160625ca47a2e200964bfdfc33a7f0f3aee535df7170ce.jpg

구글은 오픈소스 기술에 가장 적극적으로 관여하는 세계적인 기업 중 하나다. 오픈소스 개발자 플랫폼인 깃허브(GitHub)에는 900명이 넘는 구글 소속 공여자와 1,000개가 넘는 구글 관련 저장소가 있다.

최근 몇 년간 컨테이너화가 가장 유행하는 IT용어 중 하나였는데 구글은 데이터센터의 애플리케이션을 관리하기 위해 약 20억 개의 컨테이너를 사용했다. 이 회사는 보그(Borg)와 오메가(Omega)의 숨겨진 기술을 사용하여 수년간 내부적으로 워크로드를 실행했다.

그리고 이 플랫폼은 2014년 6월 이후 공개된 구글의 오픈소스 쿠버네티스 컨테이너 클러스터 관리 플랫폼의 기초를 제공했다. 쿠버네티스는 가상 머신 대신 좀더 가벼운 대체품을 찾고 있는 다양한 대기업에서 채택됐다.

원래 구글에서 개발했지만 클라우드 네이티브 컴퓨팅 재단(Cloud Native Computing Foundation)에서 관리한다.

2. 구글 - 텐서플로 

201807121606518f469d9df10c810f01a8cce31af1b040230b67b4.jpg

구글의 인상적인 구글 포토 검색 기능의 핵심에는 음성 인식 도구와 구글 번역이 있으며 AI 시스템인 텐서플로가 있다. 이 머신러닝 툴은 다양한 기술 개발에 박차를 가하기 위해 2016년에 오픈소스로 전환됐다. 이제는 데이터 흐름 및 프로그래밍 목적으로 사용할 수 있는 오픈소스 소프트웨어 라이브러리로 작동한다.

3. 페이스북 - 오픈 컴퓨트 프로젝트(OCP)

2018071216072843d03637856d7c7134985cf95b2d089b6b313db3.jpg
Credit: Open Compute Project
 

페이스북은 소프트웨어 외에 하드웨어에 초점을 맞춘 오픈소스 노력에 흥미로운 접근 방식을 취했다. 소셜미디어 거물인 페이스북은 2011년에 OCP 전략을 추진하기 시작했다. 이는 증가하는 컴퓨팅 인프라 수요를 완화하기 위해 하드웨어 기술 재설계를 목표로 하는 공동 프로젝트다.

페이스북은 "결과적으로 오늘날 우리는 데이터센터 스택의 모든 주요 물리적 구성 요소를 공개하고 있다. 이는 전세계 13억 9,000만 명의 사람들을 연결하기에 충분히 강력하며 지난 3년간 인프라 비용을 20억 달러 절약할 수 있을 만큼 효율적이었다"고 전했다.

이 전략에는 페이스북이 '고성능 마이크로 서버를 위한 최초의 오픈소스 모듈형 섀시'라고 주장하는 요세미티가 포함된다. 이 프로젝트에는 인텔, 골드만삭스, 마이크로소프트 등의 회사가 참여하고 있다.

4. 페이스북 - 파이토치

2018071216093319fc026a86c32c8e5018a0b322a4af3023438572.jpg
페이스북은 페이스북 피드에 대한 정보를 정제하는 등 내부적으로 딥러닝을 사용하며 깃허브에서 호스팅되는 파이토치(PyTorch) 딥러닝 프레임워크의 일부로 만든 모듈 중 일부를 오픈소스로 제공하고 있다.

트위터, 우버, 세일즈포스를 비롯하여 이 프레임워크를 개발하는 여러 조직이 있으며 사이트에는 예제 프로젝트 및 자습서가 많이 있다.

5. 트위터 - 오로라, 스톰
20180712161013f025baabdb50b81c9cf7b1f6907d4d7cb7adce17.jpg
트위터는 주요 오픈소스 소프트웨어 사용자로서 다양한 방식으로 커뮤니티에 기여했다.

오로라(Aurora) 프레임워크는 구글 개발자인 빌 파너가 만들었으며 구글의 보그 마이크로 서비스 아키텍처를 주도했다. 오로라는 아피치 메소스(Apache Mesos)에서 구축되며 모든 사이트가 대규모 프로덕션 애플리케이션을 실행할 수 있는 공통 기능을 제공한다. 장애 발생 시 정상적인 시스템으로 서비스를 이동하는 등의 일정한 의사결정을 내릴 수 있으므로 안정성이 향상된다.

다른 프로젝트로는 수백만 개의 트위터 피드로 생성된 대규모 데이터 스트림을 분석하는 데 사용되는 부트스트랩(Bootstrap)과 스톰(Storm)이 있다.

->트위터 오픈소스 프로젝트의 전체 목록

6. 넷플릭스 - 카오스 멍키
2018071216122265353449b899cbdf70ca95e34aefd49775776f25.jpg
주요 AWS 사용자인 넷플릭스는 클라우드에서 실행되는 애플리케이션의 복원력을 테스트하는 방법을 원했다. 카오스 멍키는 퍼블릭 클라우드 제공자가 호스팅하는 가상 머신으로 인위적으로 문제를 일으키기 위해 태어났다. 이 프로젝트는 시스템이 네트워크에서 임의의 실패에 대응할 수 있는지 테스트하기 위해 더 넓은 시미안 아미(Simian Army)에 흡수되었다.

넷플릭스는 현재 빅데이터 툴인 하둡, 하이브, 피그, 파케이(Parquet), 프레스토(Presto), 스파크 등 다수의 오픈소스 프로젝트에 기여하고 있다. 또한 넷플릭스에서 개발한 네뷸라에는 수많은 그래들(Gradle) 플러그인이 오픈소스로 올라와 있다.

->넷플릭스 오픈소스 프로젝트의 전체 목록

7. 링크드인 - 카프카
201807121612103af0670f6fdfda9b2b7ef5cb3e222189711ed9c2.jpg
카프카(Kafka)는 2011년 오픈소스가 되기 전에 비즈니스 네트워킹 사이트인 링크드인의 내부용으로 제작됐다.

작년에 실시간 분산 메시징 시스템을 만든 엔지니어 팀이 컨플루언트(Confluent)라는 카프카에 중점을 둔 신생벤처를 설립하고자 링크드인을 떠났다. 카프카는 스포티파이, 넷플릭스, 우버 등 다수의 대규모 기술 회사가 사용 중인 것으로 알려졌다.

8. 에어비앤비 – 에어플로우
20180712161155ffb4b88307c54133950cddec140658d10f475ea0.jpg
에어플로우(Airflow)는 아파치 라이선스 아래서 사용할 수 있는 데이터 워크플로우 관리 프레임워크로 데이터 파이프 라인의 작성, 스케줄링, 모니터링을 지원한다.

에어비앤비는 에어로솔브(Aerosolve) 머신러닝 툴도 오픈소스로 공개했다. 이 툴은 임대 속성을 위한 가격 권장 엔진 같은 기능을 지원하기 위해 내부적으로 사용된다.

9. 구글과 넷플릭스 - 카옌타
2018071216113927a0b8a10793e6f28e918fd6c0a12c0d1e1c8fc9.jpg
구글과 넷플릭스는 2018년 초에 카옌타(Kayenta)라는 오픈소스 프로젝트를 발표했다. 카옌타는 넷플릭스가 내부적으로 개발한 카나리아 분석 도구에 더 많은 사용자가 접근할 수 있도록 하는 오픈소스 프로젝트다. 현재는 오픈소스, 멀티 클라우드 연속 전달 플랫폼인 스피내커(Spinnaker)에 통합됐다.

카나리아 분석은 회사 인프라 내에 도입된 업데이트의 취약점을 조기에 경고하는 데 중점을 둔다. 넷플릭스는 이제 더 다양한 커뮤니티와 소프트웨어를 공유하고 그들의 지식으로부터 이익을 얻고자 한다. ciokr@idg.co.kr

 

※ 본 내용은 한국IDG(주)(http://www.itworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒITWORLD. 무단전재 및 재배포 금지


[원문출처 : http://www.ciokorea.com/news/38883]

2018
공개SW 가이드/보고서 - 번호, 제목, 작성자, 조회수, 작성
번호 제목 작성자 조회수 작성
공지 [2024년] 오픈소스SW 라이선스 가이드 개정판 발간 file support 3571 2024-01-03
공지 [2024년] 기업 오픈소스SW 거버넌스 가이드 개정판 발간 file support 2980 2024-01-03
공지 [2024년] 공공 오픈소스SW 거버넌스 가이드 개정판 발간 file support 2924 2024-01-03
공지 공개 소프트웨어 연구개발(R&D) 실무 가이드라인 배포 file support 15379 2022-07-28
공지 공개소프트웨어 연구개발 수행 가이드라인 file OSS 15279 2018-04-26
308 글로벌 칼럼 | EU의 안드로이드 판결, 3가지 핵심 내용과 논리적 모순 file OSS 1539 2018-07-24
307 IDG 블로그 | 록인을 노리는 클라우드 서비스 업체의 엉큼한 수법 6가지 file OSS 1571 2018-07-19
306 [공개SW 월간브리핑]소스공유사이트 깃허브를 인수한 MS로 가시화된 글로벌 IT 기업의 공개SW 주도권 경쟁 OSS 1765 2018-07-17
305 깃허브 인수로 본 오픈소스의 미래 file OSS 1520 2018-07-17
304 '블록체인과 공공서비스가 만난다' 외국 정부 사례 file OSS 1883 2018-07-16
303 구글∙페이스북∙넷플릭스∙에어비앤비의 공통점 '오픈소스' file OSS 1873 2018-07-12
302 깃허브 대 비트버킷 대 깃랩 : 개발자의 마음을 사기 위한 치열한 경쟁 OSS 2370 2018-07-12
301 [기획⑨] IT인프라의 급속한 확장, 피할 수 없는 ‘금융 클라우드’ file OSS 2521 2018-07-12
300 [기획⑥] 금융 블록체인, ‘성능과 보안’ 과연 신뢰할만한가 file OSS 2176 2018-07-05
299 [기획⑤] 금융산업 덮친 ‘블록체인’…혁신일까, 신기루일까 file OSS 1982 2018-07-05
맨 위로
맨 위로