[솔루션 프로파일] Apache Spark

OSS 2018-11-20 02:54:32 454
명칭 Apache Spark
로고 logoImage
공식 사이트 https://spark.apache.org
버전
최초버전
  • 0.8.0-incubating (2014.5.26)
안정버전
  • 2.3.1 (2018.6.9)
최신버전
  • 2.3.2 (2018.9.25) ※ 2018년 10월 기준
소스코드 저장소
메일링 리스트 서비스
결함 추적 시스템
라이선스
  • Apache License V2
개발 후원사
개발 프로그래밍 언어
  • Scala, Java, JavaScript, Python, R, Shell Script 등
언어 지원
  • 영어
지원 OS
  • Windows/ Mac / Linux
하드웨어 사양
(시스템 요구 사항)
  • (최소) CPU : i5 / Memory : 3GB / Disk : 2.0GB
  • (권장) CPU : i7 / Memory : 6GB / Disk : 4.0GB
보안 취약점
기술 문서
공개SW 설명
  • 전 세계에서 가장 많이 사용되고 있는 분산처리 플랫폼
  • 다량의 데이터를 다량의 서버에서 동시에 분석할 수 있는 플랫폼을 제공
  • 기존의 SQL을 활용하여 분석 결과를 가져올 수 있음
  • 데이터 전처리를 위해 Spark, Python과 같은 언어를 사용할 수 있음
활용 사례
  • (Databricks) Apache Spark을 활용하여, AWS S3에 있는 데이터 혹은 그와 유사한 형태의 데이터를 분석할 수 있도록 해주는 서비스를 제공함
  • (https://databricks.com)
  • (VCNC 데이터 분석) Apache Spark을 활용하여, Hadoop Hive기반의 분석 시스템을 교체하여, 분석 시간을 단축하고, 나아가 관리 포인트를 줄임으로써 효율화를 달성함
  • (http://engineering.vcnc.co.kr/2015/05/data-analysis-with-spark/)
관련 키워드
  • Apache, Spark, Distributed System, BigData
참고 자료
개발
그룹
국내
기업
  • N/A
커뮤니티
  • N/A
국외
기업
커뮤니티
  • N/A
기술
지원
국내
기업
커뮤니티
국외
기업
커뮤니티
  • N/A
교육 과정(국내)
  • 국내 교육 기업에서 진행하고 있지만, 추천하지 않음

   

번호 제목 분류 조회수 작성
71 [솔루션 프로파일] Apache Spark 분산시스템SW 454 2018-11-20
70 [솔루션 프로파일] Jenkins 기타 458 2018-11-20
69 [솔루션 프로파일] Ansible 자원관리 450 2018-11-19
68 [솔루션 프로파일] Django SW공학도구 341 2018-11-19
67 [솔루션 프로파일] Node.js SW공학도구 551 2018-11-19
66 [솔루션 프로파일] Kubernetes 클라우드 424 2018-11-19
65 [솔루션 프로파일] Racktables 기타 174 2018-11-19
64 [솔루션 프로파일] Docker file 클라우드 260 2018-11-19
63 [솔루션 프로파일] Riak 스토리지 151 2018-11-19
62 [솔루션 프로파일] Selendroid file SW공학도구 209 2018-11-19
맨 위로
맨 위로