[11월 월간브리핑] '공개소프트웨어 활용 가이드 4종' 발간으로 오픈소스의 안전한 활용⋅확산 기대

• 최신 IT 기술 및 소프트웨어를 원한다면 오픈소스 프로젝트를 먼저 살펴봐야 함
  1. 오픈소스 프로젝트는 다양한 의견들이 반영되면서 기술의 완성도가 높아져 가치있고 정교한 소프트웨어를 개발하며, 기업의 IT 비용 또한 낮춰줌
  2. InfoWorld는 올해도 최고의 오픈소스 소프트웨어를 선별해 발표
     1. *보시 어워드(Bossie Award, Best of Open Source Software Awards)
     2. *수상작은 소프트웨어 개발, 데브옵스(DevOps), 클라우드 네이티브 컴퓨팅, 머신러닝 등의 측면에서 가장 혁신적인 오픈소스 소프트웨어 선정

1	스벨트와 스벨트키트	프런트 엔드(Front End) 자바스크립트(JavaScript) 프레임워크
		스벨트는 컴파일 시간 전략을 도입, 뛰어난 성능, 지속적인 혁신을 통해 계속 발전중임. 가장최신툴을 지원하고 서비리스환경에 내장 기능을 배치하며 혁신을 주도중임, 현재 퍼블릭 베타를 진행중임 ⋅ https://svelte.dev, https://kit.svelte.dev
2	미니큐브(Minikube)	데스크톱에서 구동하는 미니어처 쿠버네티스(Kubernetes) 클러스터
		네이티브 컨테이너 또는 베어 메탈에서 사용. 크로스 플랫폼 방식으로 작동. 도커(Docker), CRI-O, 컨테이너드(Containered) 등 다양한 컨테이너 런타임을 지원. 쿠버네티스 자체의 도구와 구성요소를 사용할 수 있다는 점이 최대 장점 ⋅ https://minikube.sigs.k8s.io/docs/
3	픽시(Pixie)	쿠버네티스 애플리케이션을 위한 모니터링 툴
		픽시는 eBPF를 사용해 원격 측정 데이터를 자동으로 수집하고 모든 원격 측정 데이터를 클러스터에 로컬 상태로 저장 및 쿼리 처리. 클러스터 안에서의 네트워크 모니터링, 인프라 건전성, 서비스 성능, 데이터베이스 쿼리 프로파일링에 사용 ⋅ https://px.dev/
4	패스트API	파이썬 웹 프레임워크
		기본적으로 타입 힌팅(Type Hinting), 비동기화, 고속 구성요소를 사용하도록 작성된 프레임워크. 표준을 준수하는 강력한 웹 API를 신속하게 구축. 일반적인 웹 사이트 구축에도 적합 ⋅ https://fastapi.tiangolo.com/
5	크리스털	C의 속도와 루비(Ruby)의 표현력을 가진 프로그래밍 언어
		정적 타이핑과 LLVM  컴파일러를 사용해 높은 속도를 달성하고  런타임 시의 Null 참조 등의 보편적인 문제를 방지. 올해 초, 크리스털 1.0이 출시되면서 이 언어는 일반 작업에 사용할 만큼 안정화됨 ⋅ https://crystal-lang.org/
6	윈도우 터미널	오픈소스 터미널 애플리케이션
		GPU 가속 렌더링은 구형 콘솔 호스트 대비 상당한 성능 향상을 제공하며 구성 옵션을 통해 터미널 외관과 동작을 이전에는 절대로 불가능했던 방식으로 사용자 정의. 앞으로가 기대되는 오픈소스 ⋅ https://github.com/Microsoft/Terminal
7	OBS 스튜디오	디스플레이 캡처 및 카메라 녹화 툴
		여러 개의 캡처 소스 정의(실시간 카메라, 데스크톱 전체, 특정 창)를 생성하거나, 캡처를 디스크에 파일로 저장하거나 제공자에게 실시간으로 스트리밍 제공,  PIP(Picture in Picture) 효과와 실시간 자막(아직은 테스트 단계) 기능도 지원 ⋅ https://obsproject.com/
8	숏컷	비디오 편집용 교차 플랫폼 툴
		오디오 및 비디오 트랙의 모든 표준 수정 작업을 처리하고 효과와 레이어링 적용 가능. 초보 및 고급 비디오그래퍼를 위한 다양한 교육 비디오와 지침을 제공. 맥, 리눅스, BSD, 윈도우에서 구동 ⋅ https://shotcut.org/
9	위브 깃옵스 코어	깃옵스(GitOps)를 활용 툴
		깃옵스를 통해 깃(Git)에서 구성을 선언하고 에이전트에 의해 쿠버네티스 클러스터에 적용. 데브옵스 워크플로를 간소화하고 구성 드리프트(Drift)를 방지해 구성의 안정화와 보안을 개선하는 것 ⋅ https://github.com/weaveworks/weave-gitops
10	아파치 솔라	아파치 루센스(Apache Lucene)에 기초한 검색 플랫폼
		클러스터 구성이 가능하고 클라우드에 배치할 수 있으며 클라우드 등급 검색 서비스를 구축할 만큼 강력함. 결과를 자동으로 조정하고 가중치를 줄 수 있도록 LTR(Learning To Rank) 알고리즘 포함 ⋅ https://solr.apache.org/
11	ML플로	다양한 머신러닝을 모델링, 실험, 배치 추적, 관리, 유지하는 ML옵스 플랫폼
		코드, 데이터, 구성, 결과 등 실험을 기록 및 쿼리 처리하고 데이터 사이언스 코드를 프로젝트에 패키지화하며 프로젝트를 워크플로에 연결할 수 있는 툴 제공. 머신 러닝을 위한 데브옵스 및 라이프사이클 관리 ⋅ https://mlflow.org/
12	오렌지	데이터 마이닝 툴
		데이터 분석 워크플로를 생성하고 모든 종류의 머신러닝 및 분석 기능뿐만 아니라 시각화 수행. 위젯을 캔버스 위로 끌어다 놓아 파일을 로딩하고 모델로 데이터를 분석하며 결과를 시각화함. ⋅ https://orangedatamining.com/
13	플러터	단일 코드베이스 기반 네이티브 컴파일 애플리케이션 개발 위한 UI 툴킷
		다트(Dart) 언어와 완전한 사용자 정의가 가능한 풍부한 머터리얼 디자인(Material Design), 쿠퍼티노(Cupertino) 스타일 위젯에 기초해 네이티브    인터페이스 생성. 위젯에는 스크롤링, 탐색, 아이콘, 글꼴 등 중요요소 통합 ⋅ https://flutter.dev/
14	아파치 슈퍼세트	기업용 비즈니스 인텔리전스 웹 애플리케이션
		데이터 세트를 시각화하고 양방향 대시보드를 개발하는 직관적인 인터페이스, 광범위한 데이터 시각화, 코드가 없는 시각화 빌더, 데이터 시각화를 준비하기 위한 SQL IDE를 제공. 백엔드에서는 대부분의 SQL 사용 데이터베이스를 지원 ⋅ https://github.com/apache/superset
15	프레스토	오픈소스 분산형 SQL 엔진
		파일부터 데이터베이스까지 다양한 데이터 소스를 쿼리 처리할 수 있으며 여러 BI 및 분석 환경으로 결과를 반환. 하이브(Hive), 카산드라(Cassandra), 관계형 데이터베이스, 상용 데이터 스토어 등에서 데이터 쿼리가 가능 ⋅ https://prestodb.io/
16	아파치 애로우	인메모리 분석을 위한 교차 언어 개발 플랫폼
		CPU와 GPU에서 효율적으로 분석 연산을 처리하기 위해 정리된 데이터와 계층 데이터를 위한 언어 독립적인 칼럼식 메모리 형식을 정의. 애로우 라이브러리는 C, C++, C#, 고(Go), 자바, 자바스크립트, 줄리아(Julia) 등으로 제공 ⋅ https://arrow.apache.org/
17	인터프리트ML	최신 머신러닝 해석 기법이 통합된 오픈소스 XAI(Explainable AI) 패키지
		해석 가능한 모델을 학습시키고 기존 AI의 블랙박스 시스템을 설명 가능. 모델의 전체적인 동작과 각 예측의 근거를 이해하는 데도 도움. 블랙박스 모델의 근사치에 의한 사후 설명을 위해 라임(Lime)을 지원 ⋅ https://interpret.ml/
18	라임	입력값의 특징을 교란하고 예측을 검토해 머신러닝 분류자의 예측을 설명하는 사후 기법
		라임의 핵심적인 원리는, 단순한 모델에 의해 블랙박스 모델을 (설명하고자 하는 예측의 근처에서) 로컬로 근사치를 구한 후 모델 전체의 근사치를 구하기가 훨씬 쉽다는 점. 텍스트와 이미지 영역 모두에 적용 ⋅ https://github.com/marcotcr/lime
19	다스크	병렬 컴퓨팅을 위한 오픈소스 라이브러리
		다스크를 이용하면 같은 시스템 또는 다중 노드 클러스터 안에서 여러 개의 GPU로 데이터와 연산을 분산 가능. GPU 가속 데이터 분석 및 머신러닝을 위해 래피즈 cuDF(Rapids cuDF), XGBoost, 래피즈 cuML(Rapids cuML)과 통합 ⋅ https://dask.org/
20	블래이징SQL	래피즈 생태계를 기반으로 하는 GPU 가속 SQL 엔진
		모든 GPU 데이터 사이언스 워크플로의 ETL(Extract, Transform, Load) 기능을 제공. GPU 메모리에 GPU 데이터프레임(DataFrame)이 있으면 DLPack 또는 NVTabular로 변환 가능 ⋅ https://blazingsql.com/
21	래피즈	엔비디아(Nvidia)의 오픈소스 소프트웨어 라이브러리 및 API 스위트
		GPU에서 E2E(End to End) 데이터 사이언스와 분석 파이프라인을 지원. 저수준 컴퓨팅 최적화를 위해 엔비디아 쿠다(CUDA)를 활용했는데, 덕분에 사용자 친화적인 파이썬 인터페이스를 통해 GPU 병렬 및 고대역폭 메모리 속도 구현 ⋅ https://rapids.ai/
22	포스트호그	제품 분석용 공학용 프레임워크
		웹 및 모바일 앱의 사용자 행동에 대한 인사이트를 빠르게 얻을 수 있으며, 코드에 짧은 자바스크립트를 추가하면 바로 사용 가능. 자동 캡처 기능은 사용자 세션 중 이루어지는 많은 프런트 엔드 상호작용 이벤트 수집 ⋅ https://posthog.com/
23	레이크FS	데이터 레이크 관리
		객체 스토리지를 Git과 유사한 저장소로 전환. 객체 스토리지에 깃과 유사한 버전 컨트롤 계층을 추가해 마치 코드를 관리하듯 데이터 레이크를 관리할 수 있도록 지원. ⋅ https://lakefs.io/
24	멜타노	데이터 웨어하우스 프레임워크
		프로젝트용 데이터를 쉽게 모델링, 추출, 변환할 수 있으며 내장된 분석 도구와 보고를 간소화하는 대시보드를 통해 통합 및 변환 파이프라인을 보완. 멜타노는 이미 데이터 오케스트레이션을 위한 핵심 툴로 자리 잡음 ⋅ https://meltano.com/
25	트리노	분산형 SQL 분석 엔진
		대규모의 분산된 데이터 소스를 대상으로 초고속 쿼리를 실행. 트리노로  처리하기 위해 데이터를 복사하거나 이동할 필요 없이 데이터 레이크, 관계형 스토어에 대해 쿼리를 실행하거나 여러 소스의 쿼리를 동시에 실행 가능 ⋅ https://trino.io/
26	스트림네이티브	통합메시징 및 스트리밍 플랫폼
		아파치 펄사(Apache Pulsar)의 강력한 분산형 스트림 처리 아키텍처와 쿠버네티스 및 하이브리드 클라우드 지원, 대규모 데이터 커넥터 라이브러리, 손쉬운 인증 및 승인, 건전성 및 성능 모니터링을 위한 전용 도구 등의 기업용 추가 기능을 결합 ⋅ https://streamnative.io/
27	허깅 페이스	트랜스포머를 기반으로 하는 다양한 모델과 학습 스크립트를 구현해 놓은 모듈
		원래는 파이토치로 layer, model 등을 선언해주고 학습 스크립트도 전부 구현해야 하지만, 허깅 페이스를 사용하면 이런 수고를 덜 수 있음. 일반적인 파이토치 구현체의 layer.py, model.py이 transformer.models에, train.py 가 transformer.Trainer에 대응 ⋅ https://huggingface.co/
28	일루터AI	AI 연구의 원천을 개방하기 위해 노력하는 풀뿌리 연구자 집단
		AI의 정렬, 스케일링, 오픈소스 AI 연구에 초점을 맞춘 자원봉사 연구자, 엔지니어, 개발자의 분산형 풀뿌리 집합체. 2020년 7월에 설립되어 대표 프로젝트는 오픈AI사가 개발한 모델을 복제하기 위해 고안된 GPT-Neo 모델 제품군 ⋅ https://www.eleuther.ai/
29	코랩 노트북용 제너러티브 아트	프롬프트 기반의 생성 아트워크
		제너러티브 아트(Generative Art: 특정 알고리즘을 부여하고, 컴퓨터가 그 결과물을 만들어내는 작업)의 폭발적인 성장을 초래한 오픈소스 구성요소 살펴보기. 예로 텍스트 및 이미지 벡터 임베딩을 생성하는 다양한 모델인 오픈AI의 CLIP(Contrastive Language-Image Pre-training) 모델이 있음 ⋅ https://github.com/openai/CLIP

• (리눅스) 국민은행, 메인프레임에서 오픈소스 클라우드 방식의 리눅스로 전환 시도
  1. 국민은행은 점진적으로 리눅스 등으로 전환하면서 메인프레임을 걷어내고 2025년까지 전면 전환을 기본방향으로 설정함
     1. * 메인프레임은 IBM의 대형 컴퓨터시스템으로, 2000년대 초반까지 대부분의 은행이 사용. 대용량을 다뤄야 하는 은행업 특성상 안정적이고, 보안성이 좋은 점이 큰 장점
  2. 리눅스로의 전환을 통해 비용절감, 호환성과 확장성 기대
     1. *메인프레임 유지·보수를 위해 매달 90억원을 지출하는 상황이며, 전환을 통해 기존 서비스를 업데이트·보완할 때 빠르게 처리, 대응할 수 있다는 부분이 장점임
  3. 또한 국민은행은 주전산시스템을 x86서버와 리눅스 등으로 바꾸기 위한 내부 테스트 진행 및 앱 활용에 필요한 코드 등 기반을 클라우드에 옮기는 작업을 추진해 리눅스화에 박차를 가함

• (리눅스) 도봉구, 부동산종합공부 시스템 리눅스 서버로 이전
  1. 도봉구는 전국 최초로 구에서 운영 중인 부동산종합공부 시스템 서버를 리눅스(Linux) 서버로 변경 완료, 신규 서버 서비스를 개시
     1. * 부동산종합공부시스템은 지적공부 및 부동산종합공부 데이터를 지방자체단체 등 관련기관으로 제공, 실시간으로 부동산 정보를 공유, 전자적으로 관리·운영할 수 있도록 한 시스템으로 지적도와 대장을 비롯한 지적에 관한 전반적인 사항을 제공
  2. 도봉구는 소형 x86 리눅스(Linux) 서버 이전 성공사례가 타 지자체에도 선한 영향력을 미쳐 전국적으로 많은 서버 유지보수 예산을 절감할 수 있는 마중물이 되길 기대
     1. * 기존 1억4000만 원의 중형 유닉스(Unix) 서버에서 운영하던 시스템을 1800만 원의 소형 x86 리눅스(Linux) 서버로 이전, 통상 서버 도입비용 8%를 책정하는 서버 유지보수 비용 또한 크게 절감

• (AI) 카카오브레인, 한국어 초거대 AI 언어모델 'KoGPT' 공개
  1. 카카오브레인이 'GPT-3' 모델의 한국어 특화 인공지능(AI) 언어모델 'KoGPT'를 최대 오픈소스 커뮤니티 깃허브에 공개
     1. * KoGPT는 GPT-3 모델의 한국어 특화 버전으로 60억개의 매개변수와 2000억개 토큰의 한국어 데이터를 바탕으로 구축
     2. * GPT-3은 OpenAI의 언어모델로 인간과 AI가 자연어 기반으로 소통할 수 있는 AI 모델
  2. KoGPT는 한국어를 사전적, 문맥적으로 이해하고 이용자가 원하는 결과값을 보여 줌 ▲주어진 문장의 긍정과 부정 판단 ▲긴 문장 한줄 요약 ▲문장을 추론해 결론 예측 ▲질문을 하면 문맥 이해해 답변하는 등 언어를 가지고 활용할 수 있는 모든 과제를 수행함
     1. * 카카오브레인은 추후 한국어 뿐만 아니라 영어, 일본어 모델도 준비해 오픈소스화할 예정임
  3. 카카오브레인은 앞으로 GPT 기술의 사이즈와 성능을 100배 규모로 키울 예정이며 GPT를 오픈소스로 개방해 일반 대학이나 스타트업 등의 기술 접근성을 높일 예정임

• (AI) 구글, 감정인식에 대응하는 대규모 데이터셋 오픈소스로 공개
  1. 구글은 지난해 발표한 고이모지 연구를 기반으로 인기 있는 영어 하위 레딧(Reddit)에서 추출되고 27개의 감정 카테고리로 레이블이 지정된 58,000개의 댓글로 인간 주석이 달린 대규모 데이터 세트인 '고이모지(GoEmotions)'를 발표하고 오픈 소스로 공개
     1. * 인기 있는 영어 하위 레딧(Reddit)에서 추출되고 기존 분노, 놀람, 혐오, 기쁨, 두려움, 슬픔 등의 6가지를 27개의 감정 카테고리로 분류하고 레이블이 지정된 58,000개의 댓글로 인간 주석이 달린 대규모 데이터 세트
     2. * 고이모지는 논문은 고이모지를 사용하여 신경 모델 아키텍처(TensorFlow Model Garden에서 사용 가능-다운)를 훈련하고 대화형 텍스트 기반으로 이모티콘을 제안하는 작업에 적용하는 과정을 연구한 논문
  2. 공개된 데이터 세트는 세분화된 감정 예측을 위해 수동으로 주석을 단 대규모 데이터세트로 광범위한 사용자 감정을 다루는 창의적인 인공지능 감정 중심 애플리케이션을 구축할 기반으로 활용 가능함

• (표준화) 정부, HWP 위주로 제공된 행정문서를 개방형 포맷(ODF)로 전환 추진
  1. 비(非)표준 포맷인 ‘HWP’ 위주로 제공돼온 행정문서를 어떤 프로그램에서도 열람할 수 있는 ‘개방형 포맷(ODF)'로 전환될 전망
     1. * ODF(Open Document Format) : 프로그램 상의 모든 문서양식을 표준화하는 공개기준으로 오픈 소스 프로그램을 기반으로 함. XML 형식의 텍스트 파일과 화상 등 바이너리 파일을 zip으로 압축한 것. 영국과 독일, 프랑스, 일본, 미국 일부 주 등에서는 정부문서에 ODF를 의무 채택하고 있음
  2. 행정문서 내의 데이터를 잘 활용할 수 있도록 관계부처들과 ‘행정문서 혁신 범부처 TF’를 구성하고, 국민들이 많이 활용하는 5종의 국민공개문서와 기안문서, 메모보고 등 행정내부문서에 대해 문서혁신 작업을 추진해옴
     1. * 국민공개문서 분야의 경우 국민의 데이터 수요가 높은 보도자료, 연구보고서, 공공서식, 채용공고문, 위원회결정문 등 5종을 대상으로 작성되는 항목을 표준화하고, 저장 방식을 개방형 문서 형식으로 전환
  3. 행정안전부는 이번 행정문서 혁신을 통해 행정문서의 기계판독성이 개선돼 문서 내의 데이터를 쉽게 활용할 수 있게 되고, 행정문서도 단일화된 창구에서 제공받아 국민 편의성이 개선될 것으로 기대

※ 참고 Reference

• NIPA, 공개소프트웨어의 활용을 위한 가이드 4종 발간, Open UP, 2021.11.22. 
  https://www.oss.kr/news/show/ef0900db-f5b4-40fb-8745-f1b937fbd8d0
• '보시 어워드 2021' 올해 최고의 오픈소스 소프트웨어 29선, ITWORLD, 2021.10.26.
  https://www.itworld.co.kr/news/212054
• 국민은행, 메인프레임에서 리눅스로 '전산 대국굴기', 신아일보, 2021.11.03.
  http://www.shinailbo.co.kr/news/articleView.html?idxno=1478438
• 도봉구, 전국 최초 부동산종합공부 시스템 리눅스(Linux) 서버 이전, 아시아경제, 2021.11.04.
  https://view.asiae.co.kr/article/2021110407335108045
• 인공지능 감정인식에 새로운 혁신!...구글 AI, 미세한 27개 인간감정 범주로 감정 인식‧대응하는 대규모 데이터셋 오픈소스로 공개, 인공지능신문, 2021.10.30.
  http://www.aitimes.kr/news/articleView.html?idxno=22937
• 행정문서, 비표준 'HWP' 탈피…기계 분석 가능해진다, ZDNet Korea, 2021.11.11.
  https://zdnet.co.kr/view/?no=20211111173011
• 카카오브레인, 한국어 초거대 AI 언어모델 'KoGPT' 공개, 글로벌경제신문 2021.11.16.
  https://www.getnews.co.kr/news/articleView.html?idxno=559964
• 공개SW 포털(oss.kr) ‘공개SW 소식’ 참조
  https://www.oss.kr/news