[11월 월간브리핑]자동차 분야, 오픈소스SW로 소프트웨어 경쟁력 강화

• (AI) CB인사이츠, '오픈소스 AI 개발 시장 지도(The open-source AI development market map)' 발표
  1. AI 모델 개발에서 오픈소스 접근 방식이 주목받고 있어 CB인사이츠가 기업이 AI 프로젝트를 구축하고 배포하는 데 도움이 되도록 15개 카테고리에 걸쳐 분류하고 이를 '오픈소스 AI 개발 시장 지도‘로 정리하여 발표
     1. * 오픈소스 AI 개발 지도는 오픈소스 형태로 AI 기반 모델과 도구를 비롯해 합성 교육 데이터 플랫폼, AI 배포 소프트웨어, AI 모델 모니터링 플랫폼 등을 제공하는 업체 등을 분야 별로 구분해 알기 쉽게 정리
  2. 현재 오픈소스 AI 개발 시장은 다양한 분야로 나뉘어지며, 대규모 언어 모델 기반의 생성형 AI, 생성형 AI 이미지 모델 개발, AI 개발 플랫폼이 주목받고 있는 상황
  3.  
  4. 
  5. [그림 1] 오픈소스 AI 개발 시장 지도 : 오픈소스 AI 기업을 15개 범주로 구분
  6. * 출처 : CB Insights
  7.  
  8. CB인사이츠는 주요 오픈소스 AI 도구를 개발하는 70개 기업을 선별, 15개 카테고리로 분류
     1. * 15개 카테고리는 다음과 같이 분류
        1. 생성AI—이미지 모델 개발자(Generative AI—image model developers)
        2. 생성AI–대규모 언어 모델 개발자(Generative AI—large language model developers)
        3. 머신러닝 훈련 데이터 큐레이션(Machine learning training data curation)
        4. 합성 훈련 데이터-미디어(Synthetic training data—media)
        5. 합성 데이터 훈련 데이터-표&텍스트(Synthetic training data—tabular and text)
        6. 벡터 데이터 베이스(Vector databases)
        7. 기능 저장소 및 관리(Feature stores & management)
        8. 버전 관리 및 실험 추적(Version control & experiment tracking)
        9. 연합 학습 플랫폼(Federated learning platforms)
        10. AI 개발 플랫폼(AI development platforms)
        11. 대규모 언어 모델 애플리케이션 개발(LLM application development)
        12. 알고리즘 감사 및 위험 관리(Algorithmic auditing & risk management)
        13. 모델 배포 및 제공(Model deployment & serving)
        14. 모델 검증 및 모니터링(Model validation & monitoring)
        15. 하드웨어-인식 AI 최적화(Hardware-aware AI optimization)
  9. 많은 기업들이 오픈소스 기반으로 AI 도구와 플랫폼을 구축하고 있으며, 투자도 활발
  10.  
  11. 
  12. [그림 2] 오픈소스 AI 개발을 위한 투자규모
  13. * 출처 : CB Insights
  14.  
  15. 오픈소스 AI 개발을 위한 투자 규모를 보면 대규모 언어 모델 기반의 생성 AI(약 269억 달러), 생성 AI 이미지 모델 개발I(142억 달러), AI 개발 플랫폼(93억 달러)이 전체 투자 규모의 대부분을 차지
      1. * 생성 AI–대규모 언어 모델 개발 시장은 기업이 콘텐츠 생성, 요약, 분류, 챗봇, 감정 분석 등과 같은 자연 언어 처리 애플리케이션을 구축할 수 있도록 하는 기반 모델과 API를 제공하며, 대표 기업은 메타(Meta), 데이터 브릭스(Databricks) 모질라.에이아이(Mozilla.ai), 라이트온(LightOn) 등
      2. * 생성 AI—이미지 모델 개발 시장은 처음부터 시각적 콘텐츠 제작을 위한 기반 모델과 API를 제공하며, 대표 기업은 엔비디아(NVIDIA), 데시(Deci), 스태빌리티 에이아이(Stability AI) 등
      3. * AI 개발 플랫폼 시장은 사내 AI 프로젝트를 개발하고 출시하려는 기업에게 원스톱 상점 역할을 하는 솔루션을 제공하며, 대표 기업은 알레그로.에이아이(Allegro.ai), 도미노(Domino), 라이트닝(Lightning) AI, 에이치투오.에이아이(H20.ai) 등

• (SW) 올해 최고의 오픈소스 소프트웨어 25선 - BOSSIE 2023
  1. 올해로 17년째를 맞는 베스트 오픈소스 소프트웨어 어워드(BOSSIE)에서 프로그래밍 언어, 런타임, 앱 프레임워크, 데이터베이스, 분석 엔진, 머신러닝 라이브러리, 대규모 언어 모델(LLM), LLM 배포를 위한 툴 등 올해의 가장 혁신적인 25개 오픈소스 소프트웨어를 선정
  2.  
  3. [InfoWorld BOSSIE 2023 Awards]

     No	SW명	상세 내용
     1	아파치 후디 (Apache Hudi)	데이터베이스 및 데이터 웨어하우스 기능을 데이터 레이크에 제공하는 트랜잭션 데이터 레이크 플랫폼 빠른 데이터 형식, 테이블, SQL을 제공할 뿐만 아니라 저지연 실시간 분석을 지원
     2	아파치 아이스버그 (Apache iceberg)	대규모 분석 테이블을 위한 고성능 테이블 형식을 제공하는 동시에, 전체 스키마 진화, 데이터 압축, 버전 롤백 등 가능 하이브(Hive), 아파치 스파크, 아파치 플링크, 클릭하우스(ClickHouse), 드레미오(Dremio), 스타록스 등에서도 바로 작동
     3	아파치 슈퍼셋 (Apache Superset)	데이터 시각화 툴로 파이 차트부터 복잡한 지리공간 차트에 이르기까지 거의 모든 분석 시나리오에 맞는 시각화를 제공 대부분 SQL 데이터베이스와 호환되며 드래그 앤 드롭 빌더와 SQL IDE를 지원
     4	번(Bun)	속도를 위해 설계된 일체형 자바스크립트 런타임 & 툴킷 런타임, 번들러, 패키지 관리자 등 서버측 JS에 필요한 모든 것을 하나의 도구에 담는 것을 목표로 함
     5	클로드 2 (Claude 2)	대규모 언어 모델을 기반으로 자연어로 질문과 요청에 응답할 수 있는 AI 챗봇 하나의 프롬프트에서 최대 10만 개의 토큰(약 7만 단어)을 받고, 최대 수천 토큰까지 스토리를 생성 가능 구조적 데이터를 편집, 재작성, 요약, 분류, 추출하고, 콘텐츠를 기반으로 Q&A를 수행
     6	코크로치DB (CockroachDB)	분산 SQL 데이터베이스 지연을 낮추고 데이터 규정을 준수하기 위해 다중 지역 및 다중 클라우드 배포를 지원
     7	C파이썬 (CPython)	파이썬 프로그래밍 언어의 참조 구현체 새로운 라이브러리나 최신 구문을 사용하는 사용자에게 더 빠른 속도를 제공하는 파이썬 런타임
     8	덕DB(DuckDB)	in-process SQL OLAP DBMS로 SQLite와 같은 작지만 강력한 프로젝트 정신을 기반으로 구축된 분석 데이터베이스 SQL 쿼리, ACID 트랜잭션, 보조 인덱스 등 익숙한 RDBMS 기능을 모두 제공하지만 대규모 데이터 세트에 대한 조인 및 집계와 같은 분석 기능을 추가
     9	HTMX와 하이퍼스크립트	HTMX는 최신 웹 애플리케이션을 더 쉽게 작성할 수 있게 해주는 향상된 기능으로 HTML을 확장 하이퍼스크립트는 하이퍼카드와 비슷한 구문을 도입해 비동기 연산, DOM 조작을 포함한 많은 자바스크립트 작업을 간소화
     10	이스티오 (Istio)	컨테이너 기반 마이크로서비스의 네트워킹과 통신을 간소화하고 트래픽 라우팅, 모니터링, 로깅 및 관찰 가능성을 제공하는 동시에 암호화, 인증, 권한 부여 기능으로 보안을 강화하는 서비스 메시 이스티오는 구글, IBM, 레드햇, Solo.io를 비롯한 여러 기업의 지원과 기여를 받는 등 클라우드 네이티브 커뮤니티에서 탄탄한 입지를 다지면서 2023년에 CNCF 인큐베이션을 졸업
     11	카타 컨테이너 (Kata Containers)	컨테이너처럼 작동하지만, 하드웨어 가상화 기술을 사용하여 더욱 강력한 워크로드 격리 기능을 제공하는 경량 가상 머신으로 안전한 컨테이너 런타임을 구축 쿠버네티스 및 도커와 호환되며 x86_64, AMD64, Arm, IBM p 시리즈, IBM z 시리즈를 포함한 여러 하드웨어 아키텍처를 지원
     12	랭체인(LangChain)	생성 AI 언어 모델을 기반으로 하는 애플리케이션 개발 작업을 용이하게 하는 Python 및 JavaScript용 모듈형 프레임워크 현재 랭체인 버전은 파이썬, 타입스크립트/자바스크립트, 고(Go) 버전 세가지가 있음
     13	언어 모델 평가 도구 (Language Model Evaluation Harness)	분산 인공 지능 연구소인 일루더AI(EleutherAI)가 만든 언어 모델 평가 도구 lm-eval-harness로 200개 이상의 벤치마크가 포함되어 있으며 손쉽게 확장이 가능
     14	Llama 2	메타 AI의 차세대 대규모 언어 모델로, 라마1보다 40% 더 많은 데이터(공개적으로 사용 가능한 소스의 토큰 2조 토큰)로 학습되었으며 컨텍스트 길이는 2배
     15	올라마 (Ollama)	맥OS 및 리눅스에서 로컬로 라마 2, 코드 라마 및 기타 모델을 실행할 수 있는 명령줄 유틸리티로 향후 윈도우도 지원할 예정 현재 거의 24개 언어 모델 계열을 지원하며 각 모델군에 대해 사용 가능한 '태그'도 많음 * 태그는 다양한 미세 조정을 통해 다양한 크기로 학습되고 로컬에서 잘 실행되도록 다양한 수준에서 양자화되는 모델의 변형 * 양자화 수준이 높을수록 모델의 정확도가 높아지지만 실행 속도가 느려지고 더 많은 메모리가 필요
     16	폴라스 (Polars)	파이썬에는 판다스(Pandas)라는 강력한 라이브러리가 있는데 폴라스는 판다스가 하는 모든 일을 할 수는 없지만, 할 수 있는 일은 빠르게(판다스보다 최대 10배), 메모리를 절반만 사용해 수행
     17	PostgreSQL	35년 이상 개발되어 온 관계형 데이터베이스 관리 시스템으로 기여자가 700명 이상이며 관계형 DBMS 중에서 약 16.4%의 시장 점유율을 차지
     18	Q로라 (QLoRA)	300억 매개변수 이상의 초대형 모델을 데스크톱 컴퓨터에서 미세 조정할 수 있으며, 여러 GPU를 사용한 전체 튜닝과 비교해 정확도 손실도 거의 없음
     19	래피즈 (RAPIDS)	일반적인 데이터 과학 및 분석 작업을 위한 GPU 가속 라이브러리 모음 각 라이브러리는 데이터프레임 처리를 위한 cuDF, 그래프 분석을 위한 cuGraph, 머신러닝을 위한 cuML과 같이 특정 작업을 처리
     20	스파크 NLP (Spark NLP)	아파치 스파크에서 실행되는 자연어 처리 라이브러리로 파이썬, 스칼라, 자바를 지원 스파크 NLP 모델 허브에는 언어 번역, 명명된 개체 인식, 텍스트 분류, 질문 답변, 감정 분석 및 기타 사용 사례를 위해 다운로드할 수 있는 2만 개 이상의 모델과 파이프라인이 있음
     21	스타록스 (StarRocks)	네이티브 코드(C++), 효율적인 비용 기반 옵티마이저, SIMD 명령어 집합을 사용한 벡터 처리, 캐싱, 그리고 구체화된 뷰를 결합해 대규모 조인을 효율적으로 처리하는 쿼리 엔진 실시간 분석, 고객 대면 분석, 데이터 이동 없는 데이터 레이크 쿼리 등의 용도로 사용 가능
     22	TensorFlow.js	구글의 TensorFlow 머신 러닝 프레임워크의 성능을 자바스크립트 패키지로 패키징하여 개발자들에게 최소한의 학습으로 탁월한 기능을 제공 브라우저, 웹GL 가속이 적용되는 순수 자바스크립트 스택,  서버에서 tfjs-node 라이브러리를 대상으로 실행 가능
     23	vLLM	누구에게나 쉽고 빠르며 저렴한 LLM 서비스 제공하기 위해 빠르고 사용하기 쉬운 라이브러리 허깅 페이스 모델 지원, 오픈AI 호환 API, 그리고 허깅 페이스 트랜스포머 라이브러리에 비해 최대 20배 더 높은 처리량을 제공하는 알고리즘인 페이지드어텐션(PagedAttention)을 지원
     24	위비에이트 (Weaviate)	방대한 양의 복잡한 비구조적 데이터를 지원하는 벡터 데이터베이스 배포 모델, 생태계 통합, 데이터 개인정보 보호 측면에서 개발자에게 많은 유연성을 제공
     25	지그(Zig)	강력하고 오류가 덜 발생하는 구문을 제공하는 동시에 C보다 성능이 뛰어난 프로그램 수준 메모리 제어 기능을 갖춘 범용 프로그래밍 언어를 만드는 프로젝트 목표는 무려 프로그래밍 생태계의 기본 언어로서 C를 대체하는 것

• (클라우드) NHN클라우드, ‘오픈인프라 아시아’ 창립 멤버로 참여
  1. 오픈인프라 재단이 아시아 지역의 클라우드 네이티브 기술 확산과 기술 교류 커뮤니티 활성화를 위해 ‘오픈인프라 아시아’ 설립
     1. * 오픈인프라 재단은 글로벌 오픈소스 기반 IaaS(Infrastructure as a Service) 개발과 확산을 주도해 온 기술 조직으로, 전 세계 182개국, 11만 명의 개발자 참여
     2. * 오픈스택 기술을 중심으로 컨테이너, 엣지 컴퓨팅, 네트워크 가상화 등 클라우드 네이티브 기술 발전을 위한 연구 진행
  2. NHN클라우드는 아시아 지역의 핵심 클라우드 서비스 기업으로 오픈스택 기술력과 그간의 커뮤니티 활동을 인정받아 ‘오픈인프라 아시아’ 창립 멤버로 초대
     1. * 오픈인프라 커뮤니티 활동을 더욱 적극적으로 참여하여 글로벌 오픈스택 기술 생태계와 국내 기업, 기술 파트너 등의 허브 역할을 수행하고, 네이티브 기술과 활용 사례 공유를 통해 커뮤니티 확산을 지원하며 성장을 돕고 자체 기술력 제고도 이룰 계획
  3. 이 외 창립 멤버로 앤트그룹, 화웨이, 차이나 모바일, NEC 등 아시아 지역의 여러 기업 참여

• (OS) 삼성전자, 오픈소스 타이젠OS의 리부팅으로 소비자 가전 플랫폼 강화
  1. 삼성전자, 오픈소스 운영체제 ‘타이젠’을 리부팅하고 소비자 가전 플랫폼으로서의 경쟁력 강화 계획
     1. * 타이젠 리부팅을 통해 ▲온디바이스 AI ▲개방형 명령어 세트(RISC-V) ▲통합 타이젠 SDK ▲편리한 툴 지원 등을 지원할 계획
     2. * 또한, 온디바이스 AI 기능을 강화해 소비자 프라이버시를 보호하면서도 새로운 사용자 경험을 제공할 예정
  2. 개발자들이 타이젠 애플리케이션(앱)을 보다 쉽고 빠르게 개발할 수 있도록 다양한 지원 프로그램을 제공하는 등 개발자 지원 강화로 타이젠 생태계 확장
     1. * 비주얼 스튜디오 코드에 타이젠 익스텐션을 제공해 개발자들이 미리 정의된 템플릿을 활용, 타이젠 TV 앱을 빠르게 제작할 수 있도록 지원
  3. 또한, 개방형 명령어 세트인 RISC-V 지원을 통해 개발자들이 다양한 하드웨어 플랫폼에서 타이젠을 쉽게 개발하고 사용할 수 있도록 지원 예정

• (공간정보) 서울시, 오픈소스 공간정보 아시아권 최대 행사 'FOSS4G Asia' 개최
  1. 서울시가 세계 최대 오픈소스 공간정보 분야 행사인 'FOSS4G Asia(포스포지 아시아) 2023 Seoul'를 개최
     1. * 11/28(화)~ 12/2(토)까지 서울 중구 서울도시건축전시관과 서울시청에서 진행
     2. * 대한공간정보학회와 오픈소스지리정보재단(OSGeo) 한국어지부가 공동으로 유치, 개최
  2. 'FOSS4G(Free Open Source Software for Geospatial)'는 공간정보 분야 공개 소프트웨어 기술을 교류하고, 산업 네트워크를 형성하기 위한 행사로
  3. 2004년부터 미국에 본부를 두고 있는 오픈소스지리정보재단(OSGeo)이 주관해 세계대회와 4개 대륙별 대회를 개최하고 있음
  4. 이번 행사에는 UN사무국 공간정보실, 일본 국토교통, OSGeo 등 주요 인사가 참여, '지속가능한 아시아 오픈소스 공간정보 생태계 조성을 위한 공동선언'을 발표할 예정
  5. 행사 기간을 아시아 지리정보 주간(Asia Geo-Week)으로 정하고, 공간정보에 관심을 가진 기업, 연구자, 학생 등이 참여할 수 있는 행사를 동시에 진행

※ 참고 Reference

• NIPA–현대자동차그룹, 자동차 제조업 분야 오픈소스SW 기반 디지털 전환 협력, 공개SW포털, 2023.11.27.
  https://www.oss.kr/oss_guide/show/ea8136ef-f0ba-4148-95ca-aefb0f824ec7
• [기고] 자동차 제조업 분야의 오픈소스 소프트웨어 기반 디지털 전환 및 대·중·소 상생협력 생태계 조성, 공개SW포털, 2023.11.27.
  https://https://www.oss.kr/oss_guide/show/a70e2a9e-c287-46ed-87e6-021deb166134
• 현대차그룹 오픈소스 리스트 공개를 통한 중소/중견기업 지원 방안, OpenChain KWG, 2022.09.19.
  https://openchain-project.github.io/OpenChain-KWG/meeting/19th/
• Automotive software: The fusion of automotive and IT expertise, BOSCH, 2021.09.14.(Bosch CEO ‘Stefan Hartung’과의 인터뷰)
  https://www.bosch.com/stories/automotive-software/
• What OS Does Tesla Use?, USNews, 2023.03.27.
  https://cars.usnews.com/cars-trucks/features/what-os-does-tesla-use#:~:text=The%20Tesla%2Dspecific%20operating%20systems,based%20projects%20such%20as%20Ubuntu
• 자동차의 미래와 오픈소스, 공개SW포털, 2021.5.21.
  https://www.oss.kr/oss_guide/show/b89d5817-addb-4bfd-be21-129c337f3ee2
• CB인사이츠, '오픈소스 AI 개발 시장 지도' 발표, CIO Korea, 2023.11.13.
  https://www.ciokorea.com/news/313521
• The open-source AI development market map, CBInsights, 2023.10.13.
  https://www.cbinsights.com/research/open-source-ai-development-market-map/
• NHN클라우드, ‘오픈인프라 아시아’ 창립 멤버로 오픈스택 생태계 ‘허브’ 역할, ITWORLD, 2023.10.26.
  https://www.itworld.co.kr/news/311711
• BOSSIE 2023 | 올해 최고의 오픈소스 소프트웨어 25선, ITWORLD, 2023.10.31.
  https://www.itworld.co.kr/news/312096
• The best open source software of 2023, InfoWorld, 2023.10.23.
  https://www.infoworld.com/article/3709196/the-best-open-source-software-of-2023.html
• '타이젠 OS' 재도약…삼성전자, 리부팅으로 소비자 가전 플랫폼 강화, 디지털데일리, 2023.11.14.
  https://ddaily.co.kr/page/view/2023111415390370222
• 서울시, 오픈소스 공간정보 아시아권 최대 행사 'FOSS4G Asia' 개최, 전자신문 2023.11.16.
  https://www.etnews.com/20231116000358
• 공개SW 포털(oss.kr) ‘공개SW 소식’ 참조