‘아파치 카프카’, 개념부터 사용례까지
2022.03.02
ⓒMartin Heller(InfoWorld)/ciokorea
2011년 링크드인(LinkedIn)에서 개발된 ‘아파치 카프카(Apache Kafka)’는 이벤트 스트리밍에서 널리 쓰이는 플랫폼 중 하나다. 카프카는 고성능 데이터 파이프라인, 스트리밍 애널리틱스, 데이터 통합, 미션 크리티컬 애플리케이션에 사용된다.
모든 데이터를 데이터 웨어하우스에 저장하고 야간 배치 처리를 사용하여 분석하는 것만으로는 더 이상 비즈니스 또는 프로세스를 적시에 모니터링 및 관리하기가 충분하지 않다. 대신에 이후의 심층 분석을 위해 데이터 저장 외에 간단한 데이터 스트림 실시간 분석을 수행해야 한다.
카프카의 부속물에는 아파치 플링크(Apache Flink), 아파치 삼자(Apache Samza), 아파치 스파크(Apache Spark), 아파치 스톰(Apache Storm), 데이터브릭스(Databricks), 버베리카(Ververica) 등이 있다. 카프카의 대안으로는 아마존 키네시스(Amazon Kinesis), 아파치 펄사(Apache Pulsar), 애저 스트림 애널리틱스(Azure Stream Analytics), 컨플루언트(Confluent), 구글 클라우드 데이터플로(Google Cloud Dataflow) 등이 있다.
단, 카프카의 단점은 대규모 카프카 클러스터 구성이 까다로울 수 있다는 것이다. 컨플루언트 클라우드(Confluent Cloud)와 아파치 카프카용 아마존 관리형 스트리밍(Amazon Managed Streaming) 등 카프카의 상용 클라우드 버전을 사용하면 이 문제와 다른 문제를 해결할 수 있다(유료).
아파치 카프카란?
아파치 카프카는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션을 위한 오픈소스, 자바/스칼라, 분산 이벤트 스트리밍 플랫폼이다. 카프카 이벤트는 토픽별로 구성되고 저장된다. 카프카의 핵심 API는 5개이며, 다음과 같다.
(후략)
[원문 기사 :https://www.ciokorea.com/news/227469]
※ 본 내용은 한국아이디지(주) (https://www.idg.co.kr/)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 2020 International Data Group. 무단전재 및 재배포 금지.
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 365572 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 355354 | 2020-10-27 |
| 9871 | 美 카네기멜론대학교, AI 기반 프로그래밍 언어 12종 코드 생성 프로그램 '폴리코더' 개발 | 4241 | 2022-03-10 |
| 9870 | 구글이 CNCF에 K네이티브를 기부한 이유 | 3875 | 2022-03-08 |
| 9869 | 전북은행 주전산시스템 교체 나서…U2L 사업으로 주목 | 4840 | 2022-03-07 |
| 9868 | [주간 OSS 동향 리포트]리누스 토발즈, ‘리눅스 커널’ 최신 C언어 표준 업그레이드 결정 | 4097 | 2022-03-07 |
| 9867 | “‘자바 8’이 여전히 우세하지만 ‘자바 17’의 물결이 오고 있다” | 4124 | 2022-03-04 |
| 9866 | IoT 반도체 개발서 주목되는 오픈소스 규격 ‘RISC-V’ | 4377 | 2022-03-04 |
| 9865 | '가장 널리 쓰이는 오픈소스 패키지는?' 하버드, 역대 최대 규모 조사 결과 공개 | 3951 | 2022-03-04 |
| 9864 | 삼성SDS, 연내 로코드 플랫폼 개발 | 3736 | 2022-03-04 |
| 9863 | 레드햇, 터키 이통사 투르크 텔레콤에 쿠버네티스 플랫폼 오픈시프트 구축 | 4071 | 2022-03-02 |
| 9862 | ‘아파치 카프카’, 개념부터 사용례까지 | 4418 | 2022-03-02 |
0개 댓글