[정보관리기술사 117회 1교시] - XAI(Explainable AI)

XAI(Explainable AI)

 

AI는 좋은결과를 내긴하지만 약간의 블랙박스 개념이 있다.

배경 : 어떤 과정을 통해서 이 결과를 도출해 냈는지 설명할 수 있다면 훨씬 더 사람들이 잘 받아들일 수 있다는 관점에서 나오게 되었다.

사람들이 이해할 수 있는 방향으로 설명해내면 훨씬 더 AI를 받아들이는데 좋아진다. 미 국방성에서 먼저 시작했다.

 

AI의 오류 발생가능성?

ex)

- AI에게 사진과 Adversarial example를 (AI를 속이는 예제들) 보여주면 오류를 범할 수 있다.

- 한 픽셀만 바뀌었는데 전혀 다른 결과를 보여준다.

 

-> 오류 발생을 피할 수 있게 해야한다.

 

딥러닝의 본질적 문제는 설명 불가능 하다.

딥러닝이 왜 이런 결과를 냈는지 설명이 부족하다.

 

 

Decision Trees 등의 방법론들은 이런것들은 왜 이런 결과를 도출했는지 논리적으로 설명이 잘 된다.

대부분 예전 기계학습 방법들은  shallow Learning이라고 부른다.

사람이 특징을 추출하고, 그 추출된 결과를 러닝에 의해서 분류하는 방식

이미 특징을 추출할 때, 사람의 로직이 많이 들어가있다.

그래서 왜 이런 결과를 냈는지 설명하기 용이하다.

 

딥러닝은 특징 추출부터 판단까지 전부 딥러닝 네트웍이 알아서 하기때문에 어떤 과정을 통해서 어떤 결과를 냈는지 추정하기가 쉽지 않다. 

 

딥러닝은 본질적인게 있는데 결과에 대한 Why를 어떻게 도출할 수 있을까?

왜 이런 판단을 했는지 알려주기 위해서는 다양한 방법들이 나와야한다.

 

어떤 망이 있으면 그걸 설명하는 망을 개발할 수 있고, 아예 처음부터 해석이 가능한 모델로 개발할 수 있고, 망과 사람사이에 어떤 인터페이스를 가지고 할 것이냐, 어떤 마음으로 이런걸 판단했느냐 등의 여러가지 방법들을 사용해서 좀 더 설명할 수 있는 쪽으로 연구되고 있다.

ex) NVIDIA 자율주행 시스템 : 사람이 뭘 집중하는 지 분석해서 자율주행 시스템을 개발

사람한테 설명이 가능한 방식 망을 그렇게 하든 설명하는 방식을 하든 계속적인 시도가 되어지고있다.

 

 

 

참고)

https://blogs.nvidia.co.kr/2021/07/27/what-is-explainable-ai/

설명 가능한 AI란 무엇인가? | NVIDIA Blog

https://scienceon.kisti.re.kr/srch/selectPORSrchReport.do?cn=KOSEN000000000001071