[기획브리핑] 에이전틱 AI 시대의 운영 과제 : 신뢰 기반 운영 거버넌스 구축

Open Up 

□ AI 확산 이후의 핵심 과제는 신뢰 기반의 운영 거버넌스 체계 구축으로 이동하고 있음 

○ AI가 빠르게 확산되고 에이전틱 AI가 실제 업무 수행 단계로 진입하면서, AI는 기업과 일상 업무 전반에 영향을 미치는 범용 인프라로 자리잡고 있음
 - Stanford HAI 2026 AI Index에 따르면, 생성형 AI는 3년 만에 인구 기준 약 53% 채택률에 도달해 PC나 인터넷보다 빠른 확산 속도를 보이고 있음
  ※ 2025년 조직의 AI 도입률이 88%에 도달했고, 대학생 5명 중 4명이 생성형 AI를 사용하고 있다고 설명

○ 그러나 AI 확산 속도에 비해 책임 있는 AI(Responsible AI) 체계와 관리 인프라는 아직 충분히 성숙하지 못한 상태임
 - AI Index는 거버넌스 프레임워크, 평가 방법, 교육 체계, 데이터 인프라가 기술 발전 속도를 따라가기 어렵다고 설명
 - 주요 프런티어 모델 개발사들이 일반 성능 벤치마크는 대부분 공개하지만, 안전성·편향·유해성 등 책임 있는 AI 벤치마크 공개는 여전히 제한적이라고 설명
 - 또한 공개적으로 확인되어 AI Incident Database에 기록된 AI 관련 사고는 2024년 233건에서 2025년 362건으로 증가
 ※ AI Incident Database(AIID)는 AI 시스템이 피해를 일으켰거나, 피해로 이어질 뻔한 문서화된 사례를 모아둔 공개 데이터베이스로 오작동, 차별, 개인정보 침해, 안전 문제 등의 AI 관련 사고 사례를 기록 

○ 따라서 AI 확산 이후의 핵심 과제는 ‘AI를 더 많이 쓰는 것’이 아니라 신뢰 가능한 운영 체계와 거버넌스 기반을 구축하는 것으로 이동하고 있음
 - AI가 업무 수행, 의사결정, 고객 접점, 시스템 운영에 깊게 들어올수록 성능보다 중요한 기준은 권한 통제, 감사 가능성, 책임소재, 규제 대응 능력으로 확장되고 있음
 - 이 지점에서 신뢰 기반 운영 거버넌스는 AI 시대의 보조 장치가 아니라 기업과 국가의 AI 대응 역량을 좌우하는 핵심 조건으로 부상하고 있음

▶ 에이전틱 AI가 가져온 새로운 운영 과제

○ 에이전틱 AI는 단순히 콘텐츠를 생성하는 도구가 아니라, 데이터를 연결하고 도구를 사용하며 업무 흐름을 실행하는 시스템으로 진화
 - 즉, AI가 인간의 지시를 받아 답변하는 단계에서, 인간의 목표를 대신 수행하는 단계로 이동하고 있음을 의미 
  ※ 리눅스 재단 보고서에서는 AI 에이전트를 단순 챗 인터페이스를 넘어 추론하고, 도구를 사용하며, 복잡한 워크플로를 독립적으로 실행하는 자율 시스템으로 설명 

○ 이러한 변화는 AI의 리스크를 ‘답변 오류’에서 ‘행동 오류’로 바꾸고 있음 
 - 기존 생성형 AI의 주요 리스크가 부정확한 답변, 환각, 저작권, 편향이었다면, 에이전틱 AI의 리스크는 권한 행사, API 호출, 데이터 접근, 거래 실행, 시스템 변경으로 확대됨
 - 에이전트가 실제 업무 시스템에 연결될수록 작은 판단 오류도 보안 침해, 서비스 중단, 규제 위반, 책임소재 공백으로 이어질 수 있음

○ 에이전틱 AI 시대의 핵심 과제는 모델 성능 자체보다, 에이전트의 행동을 통제하고 책임질 수 있는 운영·거버넌스 체계를 구축하는 데 있음
 - 에이전트가 실제 업무를 수행하려면 신원 확인, 권한 위임, 인증, 암호화, 로그, 감사, 인간 승인, 책임소재가 함께 작동해야 하므로, 운영 규칙 설계는 에이전트 도입 이후의 보완책이 아니라 도입 전 마련되어야 할 기본 조건임
 - 즉, 에이전트가 어떤 데이터에 접근할 수 있는지, 어떤 도구를 호출할 수 있는지, 어느 수준까지 자율적으로 판단하고 어떤 상황에서 인간 승인이 필요한지 등을 사전에 정의해야 함

▶ 신뢰 가능한 에이전트 운영의 핵심: 정체성, 권한 통제, 보안 감사

○ AI 에이전트가 사람을 대신해 거래하거나 업무를 수행하는 능동적 경제 참여자(active economic participants)로 부상하면서, 정체성과 책임성에 대한 신뢰 요구가 커지고 있음
 - 이에 따라 에이전트가 누구를 대신해 행동하는지 확인하기 위한 신원 증명(identity attestation)과 신뢰 체계가 필요함
 - 신원 증명과 책임 기준이 마련되지 않으면, 에이전트 기반 거래는 신뢰 부족과 책임소재 문제로 확산이 제한될 수 있음
 - 따라서 에이전트의 행동 범위, 접근 가능한 데이터와 도구, 인간 승인 필요 여부를 상황별로 설정하는 세밀한 권한 통제가 신뢰 형성의 핵심 조건으로 부상함
 - 보안 측면에서는 에이전트 간 통신 프로토콜의 기본 보호장치 부족이 핵심 문제로 제기
  ※ 리눅스 재단의 ‘Open Source and the Future of AI’ 보고서는 개발자들이 에이전트에 API 키와 이메일 접근권한을 빠르게 부여하고 있지만, 현재 에이전트 간 통신 프로토콜에는 인증(authentication)과 암호화(encryption) 같은 기본 보호장치가 거의 없다고 지적
 - 감사 가능성 측면에서는 에이전트의 최종 결과만으로는 판단 근거와 행동 과정을 확인하기 어렵기 때문에, 어떤 데이터와 도구를 사용해 결정을 내렸는지 추적할 수 있는 체계가 필요함
  ※ 리눅스 재단 보고서는 결과값만 감사하는 방식으로는 충분하지 않으며, 모델 내부의 판단 경로를 확인할 수 있어야 한다고 강조
  ※ 오픈 모델의 추론 흔적(reasoning traces)이 최종 결과뿐만이 아니라 의사결정 경로를 검토할 수 있게 해, 보안 감사와 안전한 도입에 도움이 될 수 있다고 설명

▶ 규제 산업에서는 자동화보다 책임 구조가 먼저다

○ 규제 산업에서 에이전틱 AI 도입의 첫 번째 과제는 자동화 대상 업무를 이해 가능한 형태로 문서화하는 것임
 - 은행·헬스케어 등 규제 산업에서 에이전트가 인간의 업무 흐름을 자동화하려면, 조직이 먼저 현재와 과거의 업무 프로세스를 포괄적이고 체계적으로 기록해야 함
  ※ 리눅스 재단 보고서는 사람이 수행하던 수동 업무 흐름을 에이전트가 실행 가능한 문서화된 로직으로 전환하는 것을 에이전트 도입의 선행 과제로 제시
 - 사람이 암묵적으로 처리하던 판단 기준, 예외 처리, 승인 절차가 기록되지 않으면 에이전트는 업무를 이해하기 어렵고, 자동화 이후에도 감사와 설명이 어려워질 수 있음

○ 책임 있는 AI 관행에 영향을 미치는 규제 환경은 기존 데이터 보호 규정 중심에서 AI 전용 프레임워크와 기술 표준 중심으로 재편되고 있음
  ※ Stanford HAI 2026 AI Index에 따르면, GDPR은 AI 관행에 영향을 미치는 규정으로 가장 많이 언급되고 있으나, 이를 언급한 비중이 2024년 65%에서 2025년 60%로 감소
  ※ 반면, AI 관리 시스템 표준인 ISO/IEC 42001(36%)과 NIST AI 위험 관리 프레임워크(33%)가 새로운 기준으로 부상
  ※ 규제의 영향이 전혀 없다고 보고한 조직 비율은 17%에서 12%로 감소해, AI 활용 조직의 규제 대응 필요성이 커지고 있음을 보여줌

○ 책임 측면에서는 에이전트의 판단과 행동에 대한 리스크에 대한 책임 주체가 명확해야 함
 - 규제 산업에서 에이전틱 AI를 활용할 때 내부 감사와 외부 규제기관을 충족하려면 투명한 구조와 함께 모든 단계에서 인간이 책임과 통제권을 유지해야 함
 - 특히 컴퓨터는 법적 책임을 질 수 없기 때문에, 인간이 에이전트를 학습시키고 최종 품질 판단과 컴플라이언스 책임을 유지해야 함
  ※ 리눅스 재단 보고서는 리스크 관리의 ‘3선 방어’*체계를 에이전트 도입 환경에도 엄격하게 적용해야 한다고 강조
  * 3선 방어(Three Lines of Defense): 사업 부서(1선)·리스크 관리 및 컴플라이언스 부서(2선)·내부 감사(3선)로 이어지는 단계적 리스크 관리 체계로, 금융·헬스케어 등 규제 산업에서 널리 활용되는 프레임워크
 - 따라서 규제 산업에서 중요한 것은 에이전트가 업무를 얼마나 빠르게 수행하는가보다, 자동화된 판단을 누가 검토하고 책임질 수 있는가임

○ 향후 규제 대응을 위해서는 의사결정 증거 분류 체계가 필요함
 - 에이전트가 어떤 결정을 내렸는지뿐 아니라, 어떤 근거와 기준 아래에서 그 결정을 내렸는지 남기는 방식이 필요
  ※ 리눅스 재단 보고서는 AI 의사결정을 영향도와 판단 유형에 따라 분류하고, 출처(provenance)와 디지털 봉인(digital sealing)을 통해 규제기관이 확인할 수 있는 감사 흔적을 남기는 체계를 제안
 - 규제 산업에서 에이전틱 AI 도입은 단순 기술 도입이 아니라 업무 로직, 리스크 소유권, 인간 책임, 감사 가능성을 함께 설계하는 작업임

▶ 오픈소스와 개방형 표준은 신뢰 인프라의 기반 조건

○ 오픈소스는 에이전틱 AI 환경에서 특정 벤더나 폐쇄형 시스템 하나에 과도하게 의존하는 구조를 완화하는 역할을 함
 - 오픈소스 채택 이유는 비용 절감 중심에서 벤더 종속 회피, 오픈 표준, 상호운용성, 디지털 주권 확보로 확장되고 있음
  ※ 오픈소스 사용 이유는 2025년에는 비용 절감이 53.33%로 가장 큰 이유였고 벤더 종속 완화는 32.86%였지만, 2026년에는 비용 절감이 61.84%, 벤더 종속 회피가 55.35%, 오픈 표준과 상호운용성이 45.49%로 크게 상승
  ※ 특히 유럽에서는 벤더 종속 회피가 더 강하게 나타나며, 이는 데이터 보안, 프라이버시, 디지털 주권 논의와 연결됨

  * 출처 : OpenLogic, State of Open Source Report, 2025·2026

 - 오픈소스 AI 개발 참여는 생성형 AI 확산 이후 빠르게 증가하고 있음
  ※ AI 관련 GitHub 프로젝트 수는 2025년 약 560만 개로 2024년 대비 23.7% 증가했으며, AI 프로젝트의 연간 GitHub 스타 수는 2023년 1,400만 개에서 2025년 1,820만 개로 증가
  ※ Hugging Face 기준, 2023~2025년 동안 모델 업로드는 3배 이상 증가했고, 데이터셋 업로드는 4배 증가

* 출처 : Stanford HAI, 2026 AI Index Report 

○ 오픈소스는 단순한 비용 절감 수단이 아니라, 특정 벤더에 종속되지 않고 에이전틱 AI 환경을 자체 기준에 맞게 통제하고 조정할 수 있는 선택권의 기반이 될 수 있음
 - 조직이 오픈소스 스택에서 대안을 자유롭게 교체해 특정 사용 사례에 가장 적합한 선택을 하고 자체 거버넌스 기준에 맞게 워크플로우를 세부 조정할 수 있는 유연성을 제공함 

○ 오픈소스의 투명성은 에이전틱 AI의 보안 감사 가능성과 신뢰 확보를 뒷받침하는 핵심 조건으로 부상하고 있음
 - 에이전트가 민감한 데이터에 접근하는 상황이 늘어남에 따라, 코드와 작동 방식을 직접 확인할 수 있는지 여부가 보안의 기본 요구사항이 되고 있음
 - 폐쇄형 AI 서비스 제공자의 에이전트는 내부 프롬프트나 지시사항을 확인할 수 없어 위험 요소가 될 수 있으나, 오픈소스는 코드와 작동 방식을 직접 점검할 수 있어 이 보안 조건에 부합함

○ 오픈소스 확대가 곧바로 운영 안정성을 보장하는 것은 아니며, 보안 패치, 취약점 대응, 라이선스 관리, 내부 거버넌스 관리 역량이 함께 요구됨
 - 기업 규모가 커질수록 컴플라이언스 요구, 라이선스 복잡성, 취약점 관리도 더 어려워지는 경향이 나타나며, 보안 업데이트와 패치는 조직 규모와 관계없이 가장 큰 오픈소스 운영 과제로 제시됨
 - 따라서 오픈소스 기반 에이전틱 AI 운영은 개방형 표준 채택뿐 아니라 이를 지속적으로 관리·감사할 수 있는 체계가 함께 설계되어야 함

○ 에이전틱 AI 전환을 지원하는 인프라는 여러 핵심 오픈소스 스택 위에서 구축되고 있음
 - MCP, PyTorch, Kubernetes, Ray, Goose는 에이전틱 AI 전환 및 기업 AI 시스템을 구축·배포하기 위한 핵심 오픈소스 프로젝트임
 ※MCP(Model Context Protocol)는 모델과 데이터·애플리케이션 연결, PyTorch는 연구와 독립된 실행 환경, Kubernete는 AI 인프라 오케스트레이션, Ray는 분산 컴퓨팅 조율, Goose는 로컬 우선·프라이빗 에이전트 실험 환경을 담당

▶ 에이전틱 AI 시대 사람의 역할, 실행자에서 설계자·검증자로 이동

○ AI가 소프트웨어 개발 전반에 확산되면서, 사람의 역할이 직접 구현하는 실행자에서 문제를 정의하고 기준을 세우는 설계자로 이동하고 있음
 - 리눅스 재단 보고서는 프로그래머가 직접 모든 구현을 수행하기보다, 문제 정의와 설계를 담당하고 구현 작업은 신경망 기반 코딩 어시스턴트(neural-networked coding assistants)에 위임하는 방향으로 변화하고 있다고 설명
 - 또한, 오픈소스 영역에서 미래의 기여자는 AI 생성 결과물에 인간이 최종 품질 판단을 부여하는 ‘테이스트메이커(taste maker)’ 역할로 재정의되고 있다고 정리

○ 에이전틱 AI 운영에서도 사람의 역할은 단순 사용자가 아니라 설계·검증·책임을 담당하는 주체로 이동하고 있음
 - 개발자는 시스템 설계자와 검증자로, 보안 조직은 에이전트 권한과 실행 로그를 관리하는 주체로, 법무·컴플라이언스 조직은 책임소재와 감사 체계를 설계하는 주체로 역할이 확대됨
 - 에이전틱 AI가 실제 업무에 들어올수록 조직은 모델을 잘 쓰는 사람뿐 아니라, 에이전트가 안전하게 행동하도록 조건을 설계하고 검증할 수 있는 사람을 필요로 하게 됨
 - 에이전틱 AI 도입은 사람을 대체하는 것이 아니라, 사람이 문제를 정의하고 기준을 세우며 최종 품질 판단을 유지하는 방향으로 역할을 재정의하는 과정이라고 할 수 있음

□ 시사점  

○ 첫째, 에이전틱 AI 시대의 핵심 경쟁력은 모델 성능이 아니라 신뢰 가능한 행동을 보장하는 운영 인프라임

○ 둘째, 오픈소스와 개방형 표준은 벤더 종속을 줄이고 감사 가능성과 상호운용성을 높이는 기반이지만, 이를 안정적으로 활용하기 위한 보안·인력·거버넌스 체계가 함께 구축되어야 함

○ 셋째, 한국은 AI 채택, 특허, 정책, 인프라 역량을 동시에 갖춘 만큼 향후 과제는 에이전틱 AI를 안전하고 책임 있게 운용할 수 있는 신뢰 기반 운영 거버넌스 역량을 구축하는 것임