'AI 설명가능성' 도구에서 고려해야 할 4가지

2021.04.05

©CIO Korea / Shayak Sen | InfoWorld

최근까지 ‘설명가능성(Explainability)’은 주로 AI 모델 개발 프로세스 말미에서 중요하지만 범위는 좁은 요건으로 여겨졌다. 하지만 이제 설명가능성이 머신러닝 생애주기에 걸쳐 가치를 제공하는 다층적 요건으로 간주되고 있다. 

또한 설명가능성 도구는 머신러닝 모델의 의사결정 방식에 관한 투명성을 제공하는 것 외에도 범용성, 공정성, 개념 건전성, 안전성 등 머신러닝 모델의 품질에 대한 폭넓은 평가도 실행하고 있다. 설명가능성의 중요성이 커지면서 머신러닝을 대규모로 도입하려는 조직, 특히 위험 부담이 높거나 엄격한 규제를 받는 사용사례가 있는 조직은 설명가능성 접근방식 및 솔루션의 품질에 한층 더 주의를 기울여야 한다. 

설명가능성 문제를 해결하기 위해 사용할 수 있는 많은 오픈소스 옵션이 있다. 하지만 이들 도구를 결합해서 일관성 있는 엔터프라이즈급 솔루션으로 만들어 내는 일은 어렵다. 모델 및 개발 플랫폼에서 우수한 성능을 발휘해야 하며 일관성과 범용성을 갖춰야 하기 때문이다. 

엔터프라이즈급 설명가능성 솔루션이 충족해야 할 4가지 핵심 테스트는 다음과 같다.

1. 사안의 결과를 설명하는가?
2. 내부적으로 일관성이 있는가?
3. 대규모로 안정적인 수행이 가능한가?
4. 빠르게 변화하는 기대치를 충족할 수 있는가?

사안의 결과를 설명하는가?
머신러닝 모델이 대출, 입사, 입학 등 사람들의 삶에서 중요한 결과를 결정하거나 영향을 미치는 데 점점 더 많이 사용되고 있다. 이에 따라 설명가능성 접근방식이 머신러닝 모델의 의사결정에 관해 확실하고 신뢰할 수 있을 만한 설명을 제공하는 게 중요해졌다. 

분류 결정(예: 예/아니오)을 설명하는 것은 확률 결과나 모델 위험 점수를 설명하는 것과는 크게 다르다. 예를 들어 “제인은 왜 대출을 거절당했을까?”는 “제인은 왜 0.63점의 위험 점수를 받았는가?”와 근본적으로 다른 질문이다. 

이를테면 ‘TreeSHAP’와 같은 조건부 방식은 모델 점수용으로는 정확하지만 분류 결과용으로는 부정확할 수 있다. 따라서 이들 방식은 기본 모델 디버깅에는 유용할 수 있지만 분류 결정처럼 ‘사람이 이해할 수 있는’ 모델 점수 결과를 설명하지는 못한다. 

이때는 ‘TreeSHAP’ 대신 ‘QII(Quantitative Input Influence)’를 고려해야 한다. QII는 모델 출력의 변화를 측정하기 위해 모델 기능 간의 상관관계를 끊는 시뮬레이션을 한다. 이 기법은 모델 점수와 확률뿐만 아니라 분류 결과를 포함하여 광범위한 결과에서 더 정확하다.

결과 중심의 설명(Outcome-driven explanation)은 부당한 편향을 둘러싼 질문에서 중요하다. 예를 들어 어떤 모델이 진정으로 편향되지 않았다면 “모든 여성은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답은 “모든 남성들은 다 승인됐는데 제인은 왜 대출을 거절당했을까?”라는 질문에 대한 답과 달라서는 안 된다. 

(후략)

[원본기사 : https://www.ciokorea.com/news/188998 ]

※ 본 내용은 한국아이디지(주) (https://www.idg.co.kr/)의 저작권 동의에 의해 공유되고 있습니다.

Copyright ⓒ 2020 International Data Group. 무단전재 및 재배포 금지.