스트리밍 데이터의 이해와 주요 이벤트 스트리밍 플랫폼 비교
2022.1.12
ⓒMartin Heller/itworld
스트리밍 데이터, 또는 이벤트 스트림 처리는 일반적으로 빅데이터와 관련해서 쓰이는 용어다. 보통 센서나 서버 로그와 같은 수천 개의 데이터 소스에서 지속적으로 생성되는 데이터를 의미한다. 대체로 스트리밍 데이터 레코드는 각각 몇 킬로바이트 정도로 작지만 수가 많고, 스트림은 중단되는 일 없이 계속 이어진다.
반면 과거 기록 데이터는 일반적으로 배치 ETL(추출, 변환, 로드) 프로세스를 거친 후 데이터 웨어하우스, 데이터 레이크 또는 데이터 레이크하우스와 같은 분석 데이터베이스로 전달된다. 급하지 않을 때는 이런 절차를 거쳐도 문제될 것이 없다. 그러나 분석 결과에 대해 최대한 실시간에 가깝게 대응하기 위해서는 스트리밍 데이터를 신속하게 처리해야 하는 경우가 있다.
스트리밍 데이터 처리 소프트웨어는 보통 증분적으로 데이터를 분석하고 실시간 집계 및 상호연계, 필터링 또는 샘플링을 수행한다. 또한 스트림은 과거 기록 레코드에 반영되도록 저장되는 경우도 많다. 증분 처리는 레코드 단위로 할 수도 있고 일정한 시간에 걸쳐 수행할 수도 있다.
스트림 데이터를 실시간으로 분석하면 비정상적인 이벤트, 정상 값에서의 현저한 이탈, 형성 중인 추세를 감지할 수 있다. 이렇게 하면 농지가 건조해질 때 급수 장치를 켜거나, 주식 값이 목표가 아래로 떨어질 때 주식을 구매하는 등의 실시간 대응이 가능하다. 스트리밍 데이터의 소스에는 다음이 포함된다.
(후략)
[원문 기사 :https://www.itworld.co.kr/news/221509]
※ 본 내용은 한국아이디지(주) (https://www.idg.co.kr/)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 2020 International Data Group. 무단전재 및 재배포 금지.
번호 | 제목 | 조회수 | 작성 |
---|---|---|---|
공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 365471 | 2020-10-27 |
공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 355258 | 2020-10-27 |
9800 | 사람처럼 보고 듣고 말을 이해하는 '인공지능 어시스턴트' 개발 플랫폼... 메타 AI, 'AV-휴버트' 오픈소스로 공개 | 3695 | 2022-01-17 |
9799 | VM웨어, 탄주 쿠버네티스 애플리케이션 플랫폼 GA 버전 출시 | 3839 | 2022-01-17 |
9798 | 타입스크립트(TypeScript), 1월 PyPL 인기 프로그래밍 언어 랭킹 10위...티오베 지수 49위 | 3713 | 2022-01-14 |
9797 | ‘앵귤러JS’ 11년 만에 종료··· “서드파티 지원 옵션은 사용 가능” | 5206 | 2022-01-13 |
9796 | "공개SW 덕분에 새로운 경험...깃허브 트렌드서 1위도" | 3767 | 2022-01-13 |
9795 | 스트리밍 데이터의 이해와 주요 이벤트 스트리밍 플랫폼 비교 | 4001 | 2022-01-12 |
9794 | 폭스콘, 중·일 합작 자율주행 소프트웨어 개발 | 3710 | 2022-01-12 |
9793 | 오픈 소스 클라우드 기술 무장…해외 진출 경쟁력 키울 것 | 3807 | 2022-01-12 |
9792 | [주간 OSS 동향 리포트]카카오뱅크, 금융 데이터 관리에 기존오라클DB 대신 오픈소스 기반DB 도입 | 3947 | 2022-01-11 |
9791 | 깃랩, 오픈소스 관측 솔루션 옵스트레이스 인수 | 3987 | 2022-01-11 |
0개 댓글