Home > 열린마당 > 공개SW 소식

공개SW 소식

2021.11.26.
ⓒ디지털데일리 / 이종현

 

구글 클라우드는 카카오의 인공지능(AI) 자회사 카카오브레인이 자사의 머신러닝 하드웨어(ASIC) ‘클라우드 텐서 프로세싱 유닛(TPU)’을 도입, 하이퍼스케일(초거대) AI 언어 모델 ‘KoGPT’ 연구개발 역량을 강화했다고 26일 밝혔다.

KoGPT는 미국의 AI 연구기관 오픈AI가 개발한 딥러닝 기반 자연어처리(NLP) AI 모델 ‘GPT-3’의 한국어 특화 버전이다. 카카오브레인은 최근 오픈소스 커뮤니티 깃허브에 KoGPT를 공개했다.

구글 클라우드에 따르면 KoGPT 모델을 학습하는 데는 수십억개 이상의 데이터와 모델 파라미터가 활용됐다. 카카오브레인은 대규모 데이터 및 모델 학습에 적합한 리소스를 확보하기 위해 기존 그래픽처리장치(GPU) 서버 환경에 클라우드 TPU를 추가로 도입했다.

카카오브레인은 클라우드 TPU를 도입해 대규모 모델 학습시 발생하는 네트워크 병목 현상을 해결, 60억개 파라미터와 2000억개 토큰에 달하는 한국어 데이터를 처리했다는 것이 구글 클라우드의 설명이다.

구글 클라우드는 TPU의 차세대 모델인 ‘클라우드 TPU V4’를 내무 머신러닝 워크로드에 사용 중이다. 곧 국내 시장에도 선보일 예정인데, 카카오브레인은 클라우드 TPU V4의 대규모 데이터 학습 테스트에 참여해 상용화를 앞당기는 데 협력하고 있다.
(후략)

 

[원문 기사 : https://www.ddaily.co.kr/news/article/?no=226338 ] 

 

※ 본 내용은 (주)디지털데일리 (http://www.ddaily.co.kr/)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ(주)디지털데일리. 무단전재 및 재배포 금지 

맨 위로
맨 위로