열린마당
2013년 11월 08일 (금)
ⓒ 지디넷코리아, 황치규 기자 delight@zdnet.co.kr
비즈니스맨들을 위한 SNS로 자리잡은 링크드인이 가진 핵심 역량은 빅데이터 분석 기반 맞춤형 서비스다.
링크드인은 구직자에겐 흥미로운 채용공고를, 인재를 찾고 있는 기업회원에겐 적당한 후보자들을 추천해준다. 추천 서비스 내공만 놓고보면 링크드인이 글로벌 선두권 회사란데, 토를 다는 이는 많지 않을 것이다.
링크드인 추천 기능은 크게 4가지로 나눠진다. 친구추천, 스킬앤드인도어스먼트, 추천채용공고, 뉴스추천이 바로 그것이다. 이들 서비스에 녹아든 추천의 폭과 깊이는 아직도 진화에 진화를 거듭하고 있다. 이것은 사용자 경험(UX) 향상으로 이어진다.
링크드인이 빅데이터 분석에 기반해 수준높은 서비스를 제공할 수 있게 뒷받침하는 기술 인프라는, 바로 하둡이다.
링크드인 소프트웨어 엔지니어이자 데이터 사이언티스트로 근무하는 김형진씨는 지난달 네이버가 개최한 데뷰 개발자 컨퍼런스에 참석해 "추천이란 예언이 아니라 예측을 하는 것이다"며 "링크드인은 이런 예측을 위해 머신러닝 알고리즘을 포함해, 하둡, 키밸류스토어, 기타 오픈소스 등에 기반한 빅데이터 생태계를 적극 활용한다"고 말했다. 빅데이터 생태계는 링크드인이 가입자 이력서와 인맥과 같은 데이터를 통해 적절한 정보를 추천하는 서비스를 제공할 수 있는 핵심 기반이라는 설명이다.
링크드인이 이같은 서비스를 구현한 건 만만한 일이 아니었다. 대용량 데이터를 안정적으로 하둡 파일 시스템(HDFS)에 가져와 분석한 뒤 2억명이 넘는 사용자에게 만족할만한 결과물을 뿌려주는 건 하고 싶다고 할수 있는 성격의 일이 아니다.
링크드인의 분석 인프라는 4년전 제품 데이터를 생성하기 위해 노드(Node) 10여개와 하둡 클러스터를 설정하는 것으로 시작됐다. 다양한 서비스와 많은 사용자를 지원하기 위한 클러스터 크기는 지금 수천 개 노드로 확장됐다.
링크드인은 그동안 하둡을 사용하면서 확장성과 관련해 크고작은 문제에 직면했고, 결국 해법을 찾아냈다. 이와 관련한 구체적인 내용은 지디넷코리아가 19일 개최하는 ‘빅데이터 최신 기술과 차별화된 데이터 기반 비즈니스 전략’이라는 주제로 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)'를 통해 들을 수 있다.
▲ 링크드인
이번 행사에는 링크드인에서 소프트웨어 엔지니어로 근무하는 리차드 박이 참석해, 링크드인의 하둡 도입 사례와 향후 계획을 공유한다.
리차드 박은 링크드인이 하둡 인프라를 개발하던 초창기부터 주도적인 역할을 담당했다. 2009년부터는 하둡 개발자 그룹 멤버로도 활동해왔다. 링크드인 합류전에는 페이팔에서 사기 탐지 업무를 담당했다. 지금도 아즈카반(Azkaban) 수석 개발 업무와 함께 아파치 카프카(Apache Kafka)등 오픈소스 프로젝트에 기여하고 있다.
이번 행사 참가는 공식 웹사이트에서 등록하면 된다.
링크드인은 구직자에겐 흥미로운 채용공고를, 인재를 찾고 있는 기업회원에겐 적당한 후보자들을 추천해준다. 추천 서비스 내공만 놓고보면 링크드인이 글로벌 선두권 회사란데, 토를 다는 이는 많지 않을 것이다.
링크드인 추천 기능은 크게 4가지로 나눠진다. 친구추천, 스킬앤드인도어스먼트, 추천채용공고, 뉴스추천이 바로 그것이다. 이들 서비스에 녹아든 추천의 폭과 깊이는 아직도 진화에 진화를 거듭하고 있다. 이것은 사용자 경험(UX) 향상으로 이어진다.
링크드인이 빅데이터 분석에 기반해 수준높은 서비스를 제공할 수 있게 뒷받침하는 기술 인프라는, 바로 하둡이다.
링크드인 소프트웨어 엔지니어이자 데이터 사이언티스트로 근무하는 김형진씨는 지난달 네이버가 개최한 데뷰 개발자 컨퍼런스에 참석해 "추천이란 예언이 아니라 예측을 하는 것이다"며 "링크드인은 이런 예측을 위해 머신러닝 알고리즘을 포함해, 하둡, 키밸류스토어, 기타 오픈소스 등에 기반한 빅데이터 생태계를 적극 활용한다"고 말했다. 빅데이터 생태계는 링크드인이 가입자 이력서와 인맥과 같은 데이터를 통해 적절한 정보를 추천하는 서비스를 제공할 수 있는 핵심 기반이라는 설명이다.
링크드인이 이같은 서비스를 구현한 건 만만한 일이 아니었다. 대용량 데이터를 안정적으로 하둡 파일 시스템(HDFS)에 가져와 분석한 뒤 2억명이 넘는 사용자에게 만족할만한 결과물을 뿌려주는 건 하고 싶다고 할수 있는 성격의 일이 아니다.
링크드인의 분석 인프라는 4년전 제품 데이터를 생성하기 위해 노드(Node) 10여개와 하둡 클러스터를 설정하는 것으로 시작됐다. 다양한 서비스와 많은 사용자를 지원하기 위한 클러스터 크기는 지금 수천 개 노드로 확장됐다.
링크드인은 그동안 하둡을 사용하면서 확장성과 관련해 크고작은 문제에 직면했고, 결국 해법을 찾아냈다. 이와 관련한 구체적인 내용은 지디넷코리아가 19일 개최하는 ‘빅데이터 최신 기술과 차별화된 데이터 기반 비즈니스 전략’이라는 주제로 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)'를 통해 들을 수 있다.
▲ 링크드인
이번 행사에는 링크드인에서 소프트웨어 엔지니어로 근무하는 리차드 박이 참석해, 링크드인의 하둡 도입 사례와 향후 계획을 공유한다.
리차드 박은 링크드인이 하둡 인프라를 개발하던 초창기부터 주도적인 역할을 담당했다. 2009년부터는 하둡 개발자 그룹 멤버로도 활동해왔다. 링크드인 합류전에는 페이팔에서 사기 탐지 업무를 담당했다. 지금도 아즈카반(Azkaban) 수석 개발 업무와 함께 아파치 카프카(Apache Kafka)등 오픈소스 프로젝트에 기여하고 있다.
이번 행사 참가는 공식 웹사이트에서 등록하면 된다.
※ 본 내용은 (주)메가뉴스(http://www.zdnet.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 지디넷코리아. 무단전재 및 재배포 금지
[원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20131108135106]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 300193 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 290144 | 2020-10-27 |
| 2302 | 오픈스택 서밋 홍콩 2013 폐막…주목해야 할 점은? | 3890 | 2013-11-11 |
| 2301 | "구글·애플 넘는다"…삼성, 타이젠 시대 예고 | 3592 | 2013-11-11 |
| 2300 | 레드햇, 64비트 ARM서버 준비태세 돌입 | 3476 | 2013-11-11 |
| 2299 | 빅데이터는 링크드인 UX를 어떻게 바꿨나 | 3446 | 2013-11-11 |
| 2298 | 국가대표 IT기업, 개발자 상생으로 미래 연다 | 3578 | 2013-11-11 |
| 2297 | 오픈스택 진영에 부는 ‘차이나 파워’ | 3472 | 2013-11-11 |
| 2296 | 하둡 2.0, 엔터프라이즈 시장 뒤흔드나 | 3416 | 2013-11-11 |
| 2295 | 이베이의 선택 '하둡 유연성, 그리고 테라데이타' | 3740 | 2013-11-11 |
| 2294 | 기고 | 왜 반응형 웹 디자인인가 | 3718 | 2013-11-11 |
| 2293 | 페이스북, 대용량 DW 엔진 오픈소스로 공개 | 3990 | 2013-11-08 |
0개 댓글