열린마당
2022.03.02
ⓒMartin Heller(InfoWorld)/ciokorea
2011년 링크드인(LinkedIn)에서 개발된 ‘아파치 카프카(Apache Kafka)’는 이벤트 스트리밍에서 널리 쓰이는 플랫폼 중 하나다. 카프카는 고성능 데이터 파이프라인, 스트리밍 애널리틱스, 데이터 통합, 미션 크리티컬 애플리케이션에 사용된다.
모든 데이터를 데이터 웨어하우스에 저장하고 야간 배치 처리를 사용하여 분석하는 것만으로는 더 이상 비즈니스 또는 프로세스를 적시에 모니터링 및 관리하기가 충분하지 않다. 대신에 이후의 심층 분석을 위해 데이터 저장 외에 간단한 데이터 스트림 실시간 분석을 수행해야 한다.
카프카의 부속물에는 아파치 플링크(Apache Flink), 아파치 삼자(Apache Samza), 아파치 스파크(Apache Spark), 아파치 스톰(Apache Storm), 데이터브릭스(Databricks), 버베리카(Ververica) 등이 있다. 카프카의 대안으로는 아마존 키네시스(Amazon Kinesis), 아파치 펄사(Apache Pulsar), 애저 스트림 애널리틱스(Azure Stream Analytics), 컨플루언트(Confluent), 구글 클라우드 데이터플로(Google Cloud Dataflow) 등이 있다.
단, 카프카의 단점은 대규모 카프카 클러스터 구성이 까다로울 수 있다는 것이다. 컨플루언트 클라우드(Confluent Cloud)와 아파치 카프카용 아마존 관리형 스트리밍(Amazon Managed Streaming) 등 카프카의 상용 클라우드 버전을 사용하면 이 문제와 다른 문제를 해결할 수 있다(유료).
아파치 카프카란?
아파치 카프카는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션을 위한 오픈소스, 자바/스칼라, 분산 이벤트 스트리밍 플랫폼이다. 카프카 이벤트는 토픽별로 구성되고 저장된다. 카프카의 핵심 API는 5개이며, 다음과 같다.
(후략)
[원문 기사 :https://www.ciokorea.com/news/227469]
※ 본 내용은 한국아이디지(주) (https://www.idg.co.kr/)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 2020 International Data Group. 무단전재 및 재배포 금지.
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 293902 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 284480 | 2020-10-27 |
| 9863 | 레드햇, 터키 이통사 투르크 텔레콤에 쿠버네티스 플랫폼 오픈시프트 구축 | 3924 | 2022-03-02 |
| 9862 | ‘아파치 카프카’, 개념부터 사용례까지 | 4226 | 2022-03-02 |
| 9861 | [주간 OSS 동향 리포트]한컴, 행안부 업무용 노트북에 개방형OS '한컴구름' 적용 | 4283 | 2022-02-28 |
| 9860 | 리누스 토발즈, ‘리눅스 커널’ 최신 C언어 표준 업그레이드 결정 | 3966 | 2022-02-28 |
| 9859 | [2022DB이노베이션] 큐브리드 “클라우드에서의 DB, TCO 고려하면 오픈소스로” | 3379 | 2022-02-25 |
| 9858 | 네이버클라우드, 국내 CSP 첫 포스트그레SQL DB 완전 관리형 클라우드로 출시 | 3725 | 2022-02-25 |
| 9857 | 저커버그, 언어장벽 없는 메타버스 만든다 | 3389 | 2022-02-25 |
| 9856 | "완전한 병렬성과 원격 작업 지원" 획기적인 프로젝트 빌드 툴 '팬츠’ | 3641 | 2022-02-23 |
| 9855 | 깃허브, ‘자문 데이터베이스’ 공개··· “SW 공급망 보안 개선” | 3706 | 2022-02-23 |
| 9854 | 한컴 vs. 티맥스, 개방형 OS 경쟁…공공·금융 시장 공략 박차 | 3572 | 2022-02-23 |
0개 댓글