도입 요약

도입배경

전 직원이 상용 AI를 구독하면 연간 약 25억 원이 들고, 행정·민원 정보를 해외 사업자 서버로 보내야 하는 보안 부담이 있었습니다. 확보 예산(약 3억 원) 안에서 비용과 보안 문제를 함께 풀기 위해, 오픈소스 플랫폼과 오픈웨이트 모델로 청내에 생성형 AI를 직접 구축했습니다.

핵심 AI 기능

99종 기능을 하나의 플랫폼에서 제공합니다.

- 대화형 질의응답, 업무편람·회의록·언론보도 기반 검색(RAG·GraphRAG)
- 한글(HWP)· PPT·엑셀 문서 자동 작성

- 모델이 스스로 검색·코드 실행·문서 생성 도구를 고르는 에이전틱 AI

- 회의 녹음 전사·요약, OCR, 이미지·영상 생성 등 

활용 오픈소스

Open WebUI(플랫폼), vLLM·SGLang(추론 엔진), GLM-5.3·Qwen 등 오픈웨이트 모델, Qdrant, PostgreSQL(pgvector), BGE-M3(검색), PaddleOCR-VL, kordoc, rhwp(문서처리), Conduit(모바일 앱) 등 69종

도입 효과(요약)

- 연간 구독료 약 25억 원 절감 효과 추정(대체원가 가정치)

- 보고서 초안 작성 업무 효율화 : 반나절 → 약 10분

- 도청(소방 포함)과 16개 출연기관 직원 7,700여 명이 일상 업무에 사용(계정 9,300명, 누적 질문 약 48만 건, 평일 하루 2,500건 안팎).

- 법령·자료 검색, 보고서 작성, 데이터 분석, 회의록, 이미지·영상 제작 등 업무 전 과정에 활용

- 직원이 만든 맞춤형 AI 500여 개, 민감정보 내부 처리, 

- 제43회 지방정부 AI 우수사례 발표대회 대통령상 수상(’26. 9.)

기관명

서비스·시스템명

구축 또는 운영 시기

산업·활용 분야

AI 활용 유형

(해당 모두 선택)

■ 생성형 AI  ■ RAG  ■ AI Agent  

■ 예측·분류  ■ 컴퓨터 비전  ■ 기타: 음성 인식·합성, 이미지·영상 생성  

주요 사용자·적용 대상

■ 전사 임직원  □ 연구개발 담당자  ■ 상담·현장 직원  

□ 고객·시민  □ 개발자  ■ 기타: 16개 출연기관, 14개 시·군(확대 중) 

운영 환경

① 이미 퍼진 개인 AI 사용

전북연구원 조사(’25. 6.)에서 직원 3명 중 2명이 기관 지원 없이 개인 계정으로 ChatGPT 등 상용 AI를 쓰고 있었습니다. 막을 수 없는 흐름이라면 기관이 안전한 공식 수단을 제공해야 한다고 판단했습니다.

② 비용의 벽

전 직원이 상용 AI를 구독하면 연간 약 25.7억 원이 매년 반복해서 들고, 민간 외주로 시스템을 구축하는 제안가도 약 50억 원이었습니다. 재정자립도가 낮은 우리 도가 확보한 예산은 약 3억 원이었습니다.

③ 보안의 벽

행정·민원 정보를 외부 상용 AI에 입력하면 해외 사업자 서버에 저장되거나 유출될 우려가 있습니다. 민감한 행정정보는 청내에서만 처리해야 했습니다.

④ 해결 방향

구독이나 외주 대신 오픈소스 AI 플랫폼과 오픈웨이트 모델을 GPU 서버에 직접 올려, 담당 공무원이 개발·구축·운영·교육·고도화를 직접 맡기로 했습니다. 기술 도입과 함께 직원이 참여하는 「전북 AI 행정 혁신 연구회」를 만들어, 현업이 필요한 기능을 직접 찾아내도록 했습니다.

 ▲ 비용·보안의 벽과 해결 방향

도 본청·소속기관 공무원과 16개 출연기관 직원이 웹(ai.jb.go.kr)과 모바일 앱(안드로이드·iOS)으로 24시간 이용합니다. 초기 화면의 80여 개 바로가기 아이콘으로 설정 없이 기능을 고를 수 있으며, 현재 99종 기능을 제공합니다.

① 질의응답·검색

내부 대형 언어모델이 질문에 답하고, 필요하면 스스로 웹 검색·법령 검색(법제처 API)·업무편람 검색을 호출해 출처와 함께 답합니다. 업무편람, 도의회 회의록(발언 240만여 건), 전북 관련 언론보도(60만여 건)를 RAG·GraphRAG·온톨로지 검색합니다.

② 문서 자동 작성

도 표준 서식에 맞춘 한글(HWP) 보고서·보도자료·공문, PPT, 엑셀(서식·차트 포함)을 대화로 만들어 내려받습니다. 첨부한 서식 파일의 빈칸을 채우거나, 여러 엑셀 파일을 취합하는 작업도 처리합니다.

③ 파일·이미지 분석

HWP·PDF·엑셀·이미지를 올리면 본문을 추출하고(스캔 문서는 OCR) 내용을 요약·분석합니다. 코드 실행 도구로 큰 엑셀 표를 계산하고 그래프를 그립니다.

④ 현장·모바일

회의를 녹음하면 화자별로 전사하고 요약해 회의록 초안을 만듭니다. 119 신고 음성 전사, 외국어 통역, 구급대원용 중증도 판단 보조(「나만의 구급」)도 제공합니다.

⑤ 맞춤형 AI(GPTs)

직원이 자기 업무 자료와 지시문으로 맞춤형 AI를 만들어 공유합니다(500여 개). 사회·자연재난 대응 도우미(재난매뉴얼 77종), 법령정보 어시스턴트, 금융 분석 등이 대표 사례입니다.

⑥ 멀티미디어

이미지·동영상·음악 생성, 사진 한 장으로 3D 모델 생성, 딥리서치(출처를 단 조사 보고서) 기능을 제공합니다.

단계

단계명

주요 내용

기간

1단계

준비
(’25. 3.~6.)

- 도-전북대 SW중심대학사업단 협약

- 개발 서버에 오픈웨이트 모델(Llama, EXAONE 등)과 추론 엔진 3종(Ollama, vLLM, SGLang) 설치·비교

- 업무편람 참조 답변 구현, AI 전공 교수진 시연회로 보완

4개월

2단계

구축 
(’25. 9.~12.)

- AMD Instinct MI300X 8장 GPU 서버 도입과 대형 모델 최적화

- 국가정보원 보안성 검토 완료, 4급 이상 관리자 156명 집합교육 

→ ’25. 12. 22. 정식 운영 개시

4개월

3단계

고도화
(’26. 1.~8.)

- 주력 모델 교체(Qwen3.5 397B → MiniMax M3 427B → GLM-5.3 744B)

- 16개 출연기관 개방, 연구회 출범, 내부문서 약 4.1만 건 정제

- 5급 이하 직원 1,800명 교육

- 문서 자동작성·에이전틱 도구 확충(기능 99종)

8개월

4단계

확산 
(’26. 9.~)

- 개인·민감정보 질문의 내부 모델 자동 전환

- 14개 시·군 시험운영(’26. 11.) 후 순차 개방으로 도·시군 약 2만 4천 명 단일 시스템 구축 추진

진행 중

  ▲ 전북AI 전체 시스템 구성도(2026. 10. 기준)

① 사용자가 웹 브라우저나 모바일 앱으로 질문하거나 파일을 올립니다. 요청은 행정망 안의 nginx 부하 분산기를 거쳐 Open WebUI 서버(여러 컨테이너·워커)로 들어갑니다.

② 요청이 모델에 가기 전에 자체 개발한 필터가 먼저 동작합니다. 개인·민감정보가 들어 있으면 외부 모델 대신 내부 모델로 자동 전환하고(AI-DLP), 반복 질의나 이미지·영상 모델에 맞지 않는 주입을 거릅니다.

③ 올린 파일은 문서 처리 단계(kordoc·rhwp로 HWP 본문 추출, PaddleOCR-VL로 스캔 문서 OCR)를 거쳐 BGE-M3로 임베딩한 뒤 Qdrant·pgvector에 저장합니다.

④ 메인 언어모델(GLM-5.3, vLLM으로 자체 서빙)이 질문을 해석하고, 필요한 도구를 스스로 골라 호출합니다(웹 검색, 법령·금융·기상 공공 API, 문서 검색, 코드 실행, HWP·PPT·엑셀 생성, 이미지 생성 등). 도구 선택·제목 생성·이미지 인식 같은 보조 작업은 별도의 작은 태스크 모델(Qwen 3.8 27B)이 맡습니다.

⑤ 검색한 근거는 BGE-Reranker로 다시 순위를 매겨 모델에 넣고, 모델은 답변과 출처, 생성한 파일을 함께 돌려줍니다. 사용자가 외부 상용 모델을 고른 경우에도 민감정보가 없는 질의만 외부로 나갑니다.

⑥ 모든 사용량은 사용량 대시보드에서 실국·부서별로 집계하고, 모니터링 대시보드와 자동 점검 작업이 모델·서버 상태를 상시 감시합니다.

(추가 참고 자료)

▲ (참고) 메인모델·태스크모델 분리 구조(대통령상 발표자료 현행화본 10쪽)

▲ (참고) 질문이 청사 밖으로 나가지 않게 만든 보안 구조(같은 자료 11쪽)

▲ 전북AI 오픈소스 기술 스택

① Open WebUI: 플랫폼을 처음부터 만들지 않고 검증된 오픈소스 위에 올렸습니다

대화 화면, 사용자·그룹 권한, 파일 업로드와 RAG, 도구 호출, 맞춤형 AI(GPTs)가 이미 갖춰져 있고, OpenAI 호환 API로 어떤 모델이든 붙일 수 있어 선택했습니다. 필터·도구·파이프를 Python으로 추가할 수 있어 민감정보 검사, 공공 API 연동, HWP 생성 같은 행정 특화 기능을 본체 수정 없이 붙였습니다. 다만 수백 명이 동시에 쓰는 환경에서는 워커 수, DB 연결 수, 실시간 전송 구조를 직접 조정해야 했고, 버전을 올릴 때마다 자체 패치가 덮이거나 옛 버전이 무시하던 설정을 새 버전이 존중하기 시작해 동작이 조용히 바뀌는 일이 있었습니다. 그래서 패치를 한 저장소에서 관리하고, 업그레이드 전후로 같은 방법으로 사용 지표를 비교합니다.

② vLLM·SGLang: AMD GPU에서 대형 모델을 직접 서빙했습니다

같은 예산으로 GPU 메모리를 가장 많이 확보할 수 있는 AMD Instinct MI300X(8장, 1,536GB)를 골랐습니다. 국내 행정기관 사례와 자료가 거의 없어, vLLM·SGLang의 ROCm 빌드와 커널 설정, 추측 디코딩(MTP), 도구 호출 파서를 커뮤니티 이슈를 참고하며 직접 조정했습니다. 서빙 이름을 「MainModel」로 고정하고 뒤의 모델만 바꾸는 구조로 만들어, 화면과 연동 도구를 그대로 둔 채 1년 사이 주력 모델을 여러 차례 교체했습니다(모델·엔진 교체 기록 460건).

③ 오픈웨이트 모델: 최신 모델을 빠르게 검증·교체할 수 있었습니다

DeepSeek, gpt-oss, MiniMax, Qwen, GLM 계열을 차례로 시험해 성능이 가장 좋은 모델로 바꿔 왔습니다. 성능이 부족하면 직원이 쓰지 않으므로 대형 모델 서비스를 원칙으로 삼았습니다. 모델마다 라이선스 조건과 사용 범위를 확인해야 하고, 대화 템플릿·도구 호출 형식이 달라 교체할 때마다 회귀 시험이 필요했습니다.

④ kordoc·rhwp·PaddleOCR-VL: 한글(HWP) 문서 처리가 품질을 좌우했습니다

행정 문서는 HWP 비중이 높아 본문을 얼마나 정확히 뽑느냐가 RAG 답변 품질을 결정했습니다. 다른 지자체 공무원이 공개한 kordoc과 HWP 웹 엔진 rhwp를 써서 HWP 본문을 추출하고 편집했으며, 스캔 문서와 그림 속 글자는 PaddleOCR-VL로 읽었습니다. 사용 중 발견한 결함은 고쳐서 원저장소에 기여했습니다(아래 표).

⑤ Qdrant·BGE-M3·Neo4j: 검색 계층

다국어 성능이 좋은 BGE-M3로 임베딩하고 Qdrant에 저장한 뒤 BGE-Reranker로 다시 정렬했습니다. 회의록·언론보도처럼 인물·사건 관계가 중요한 자료는 Neo4j 기반 GraphRAG를 함께 썼습니다.

① 하드웨어는 메모리 용량을 기준으로 골랐습니다

대형 모델은 GPU 메모리에 다 올라가야 서빙할 수 있습니다. 같은 예산으로 메모리를 더 많이 주는 AMD GPU를 택해 수백 B급 모델을 자체 구동했습니다. 대신 참고 자료가 적어 최적화를 직접 해야 했으므로, 담당자의 기술 내재화가 전제되어야 합니다.

② 데이터 정제가 답변 품질을 결정했습니다

행정포털·업무편람 등 내부문서(HWP·PDF) 약 4.1만 건을 정제했습니다. 표·서식이 많은 HWP는 추출 단계에서 글자가 깨지거나 잘리기 쉬워, 추출 결과를 표본 점검하는 과정을 두었습니다.

③ 보안: 내부 처리를 기본으로, 외부는 선택형으로

모든 요청은 행정망 안에서 처리하고, 외부 상용 모델은 사용자가 고를 때만 연결합니다. 개인정보(주민번호·계좌·휴대전화 등)나 기밀 표지가 있는 질문은 외부 모델을 골랐더라도 내부 모델로 자동 전환합니다. ’25. 12. 국가정보원 보안성 검토를 마쳤습니다. 또 이미지·영상 모델에는 검색 결과나 문서를 주입하지 않도록 필터를 분리했습니다(무관한 자료가 주입되면 엉뚱한 그림이 나온 사례가 있었습니다).

④ 무중단 운영

답변을 만드는 도중에 서버를 재시작하면 답변이 끊깁니다. 진행 중인 답변이 끝날 때까지 기다린 뒤 한 대씩 재시작하는 절차를 만들고, 업무시간에는 재시작하지 않습니다. 설정 변경은 변경 이력을 DB에 남겨, 일부 값만 보낸 설정 요청이 나머지 값을 비워 버리는 사고에도 바로 되돌릴 수 있게 했습니다.

⑤ 지표로 확인하기

오류 로그만으로는 조용한 고장을 찾기 어렵습니다. 업그레이드 뒤 특정 맞춤형 AI가 자료를 검색하지 않게 된 것을 오류가 아니라 사용 지표의 급감으로 찾았습니다. 실국·부서별 사용량 대시보드와 모니터링 화면으로 매주 지휘부에 보고하고 개선 과제를 정합니다.

⑥ 조직이 함께 바뀌어야 합니다

시스템을 여는 것만으로는 활용이 늘지 않았습니다. 관리자 전원과 5급 이하 직원 1,800명 집합교육, 행정부지사 총괄 연구회(회원 21명이 실무 시스템 13종 구축)를 함께 운영해 현업이 기능을 제안하고 직접 만들도록 했습니다.

① 처음부터 모든 것을 만들지 말고 Open WebUI 같은 검증된 오픈소스 플랫폼 위에 기관에 필요한 부분만 더하는 것이 빠르고 안전합니다.

② 모델은 반드시 바뀝니다. 호출 이름을 고정하고 뒤의 모델만 교체하는 구조로 만들면, 새 모델이 나올 때 서비스를 멈추지 않고 갈아탈 수 있습니다.

③ 민감정보 처리 원칙(내부 처리, 외부 선택 연결, 자동 전환)을 설계 단계에서 정하면 보안성 검토와 내부 설득이 쉬워집니다.

④ 현업이 가장 잘 압니다. 작은 기능부터 열고 사용 지표를 보면서 넓히되, 직원이 만든 맞춤형 AI를 공유하는 구조를 함께 두면 활용이 스스로 늘어납니다.

⑤ 쓰면서 고친 결함은 원저장소에 기여하면, 다음 버전을 받을 때 자체 패치를 다시 붙일 부담이 줄어듭니다.

▲ 주요 도입 효과(’26. 10. 기준)

① 전 직원의 일상 업무 도구로 정착

특정 부서나 특정 업무에만 쓰는 도구가 아닙니다. 지금까지 질문한 직원은 5,400여 명(도청 4,780여 명, 출연기관 630여 명)이고, 도 본청 실국과 직속기관, 소방본부·소방서 등 59개 실국·기관, 299개 부서에서 쓰고 있습니다. 누적 질문은 약 48만 건(도청 44만 건, 출연기관 4만 건)입니다. 이 가운데 2,200여 명은 소방 공무원으로, 현장 부서에서도 쓰고 있습니다. 최근 한 달 동안 1,880여 명이 질문했고, 평일에는 하루 2,500건 안팎의 질문이 들어옵니다. 16개 출연기관(1,770명)에도 개방했고, 14개 시·군으로 넓히고 있습니다.

② 업무 단계마다 쓰는 다양한 기능

자료 조사부터 분석, 문서 작성, 홍보물 제작까지 한 화면에서 이어서 처리합니다(’25. 12.~’26. 10. 누적). AI가 법령·자치법규를 5.7만 건, 업로드 자료와 업무편람을 1.6만 건, 웹을 1.2만 건 조회해 근거를 붙여 답했습니다. 엑셀 분석·통계·그래프를 위한 코드 실행이 7,600여 건이고, HWP 문서 6,400여 건과 PPT·엑셀·워드 문서 2,300여 건을 만들었습니다. 홍보물에 쓰는 이미지 약 3.5만 건, 동영상 1,600여 건도 직원이 직접 만들었습니다. 직원이 올린 자료는 17만여 건이고, 두 가지 이상의 기능을 함께 쓴 직원은 1,670여 명입니다.

③ 업무 시간 단축

반나절 걸리던 보고서 초안 작성이 약 10분으로 줄었습니다. 출장·회의 녹음을 올리면 화자를 나눠 받아 적고 결과보고 초안까지 만들며, 과업지시서 같은 문서를 올리면 바뀐 법령이나 서로 맞지 않는 내용을 먼저 찾아 줍니다. 보도자료·인사말씀 초안, 여러 엑셀 파일 취합과 서식 채우기, 외국어 자료 번역처럼 시간이 많이 들던 일을 AI로 먼저 처리하고 직원은 검토에 집중합니다.

④ 현업이 직접 만드는 맞춤형 AI

직원들이 자기 업무 자료를 넣은 맞춤형 AI 500여 개를 만들었습니다. 119 구급대원의 환자 중증도 분류(Pre-KTAS)를 돕는 「나만의 구급」, 65종 사회재난 현장조치 매뉴얼을 바탕으로 초동조치를 돕는 「사회재난 도우미」가 대표 사례입니다. AI 행정혁신 연구회 회원 13명은 자금운용 최적화, 인공어초 해역도 등 업무용 AI 시스템 13종을 직접 만들었고, 이 가운데 4건이 도 적극행정 우수사례로 뽑혔습니다.

⑤ 비용 절감

전 직원 상용 AI 구독(연 약 25.7억 원)이나 민간 외주 구축(제안가 약 50억 원) 대신 GPU 서버 약 3억 원과 오픈소스로 구축해, 연간 약 25억 원의 구독료 절감 효과를 기대합니다. 상용 SW 구매나 구축 용역 없이 담당 공무원이 직접 개발했습니다.

⑥ 보안·데이터 주권

민감 행정정보를 청내에서 처리하고, 개인정보가 담긴 질문은 자동으로 내부 모델로 돌려 외부 유출 경로를 줄였습니다.

⑦ 대외 성과

제43회 지방정부 AI 우수사례 발표대회(행정안전부, ’26. 9.)에서 대통령상을 받았습니다.

지표

도입 전

도입 후

비고

업무에 쓰는 직원

0명(개인 계정 사용)

5,400여 명(계정 9,300명)

도청 4,780여 명·출연기관 630여 명

누적 질문

-

약 48만 건

도청 44만 건·출연기관 4만 건

평일 하루 질문

-

2,500건 안팎

최근 한 달 이용 직원 1,880여 명

법령·자료·웹 검색

-

약 8.5만 건

법령 5.7만·업로드 자료 1.6만·웹 1.2만 건

보고서 초안 
작성 시간

반나절(약 4시간)

약 10분

도 표준 서식 HWP 자동 작성

문서 자동 작성

-

HWP 6,400여 건, PPT·엑셀·워드 2,300여 건

업로드 자료 17만여 건 활용

데이터 분석·계산

-

코드 실행 7,600여 건

엑셀 분석·통계·그래프

이미지·동영상 생성

-

이미지 약 3.5만 건, 동영상 1,600여 건

보고서·홍보물 제작

직원이 만든 
맞춤형 AI

-

500여 개

「나만의 구급」·「사회재난 도우미」 등

AI 이용 비용

전 직원 구독 시 
연 약 25.7억 원

GPU 서버 약 3억 원
(1회 구축)

연 약 25억 원 구독료 절감 기대

제공 기능

30여 종(’26. 3.)

99종(’26. 8.)

초기 화면 바로가기 80여 개

모델·엔진 교체

사업자 모델에 종속

직접 교체 460건

’25. 12.~’26. 10. 누적 기록

▲ 향후 계획 로드맵

① 14개 시·군 확대: ’26. 11. 시험운영 후 순차 개방해 도·시군 공무원 약 2만 4천 명이 쓰는 단일 AI 시스템으로 넓힙니다. 기관별 관리자와 사용량 대시보드를 함께 제공합니다.

② AI 에이전트 확대: 검색·문서 작성·코드 실행을 스스로 이어 가는 에이전틱 기능과 업무 시스템 연계를 늘립니다.

③ 도민 서비스: 직원용으로 검증한 기능을 바탕으로 도민 대상 AI 상담 서비스로 단계적으로 넓히는 방안을 검토합니다.

④ 보안 고도화: 개인·민감정보 보호 기능(AI-DLP)을 고도화합니다(’27년 사업).

⑤ 공유·확산: 다른 지자체·공공기관이 활용할 수 있도록 구축 경험과 소스 공유 방안을 검토하고(라이선스 확인 후), 오픈소스 원저장소 기여를 계속합니다.

기술 블로그

전북AI 활용 매뉴얼 https://ai.jb.go.kr/manual/  

모델·엔진 교체 연혁 https://ai.jb.go.kr/manual/models/ 

GitHub

Hugging Face

별도 계정 없음(사용 모델 예: zai-org/GLM-5.3, BAAI/bge-m3, BAAI/bge-reranker-v2-m3)

보도자료

발표자료

기타

※ [참고] 전북 AI 활용 오픈소스 목록

소프트웨어
52개

공개 AI 모델
10개

분류

내용

주요 오픈소스

AI 추론

모델 서빙·연산 엔진

AI 모델

공개 가중치 모델

서비스

채팅·문서·협업 서비스

데이터

데이터베이스·검색

인프라

웹·컨테이너·관제

보안

침입 탐지·차단

앱

부가 AI 앱

MCP

AI 도구 연결(MCP)

문서 도구

문서·영상 변환