16.

인공지능기본법의 인공지능시스템

• 공유하기
• 새 탭 열기
• 작성 이력 보기

[개요] 

o 인공지능 : 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것 (제2조 제1호)

o 인공지능시스템 : 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론하는 인공지능 기반 시스템 (제2조 제2항)

* 5개의 요건 : 목표, 자율성, 적응성, 결과물, 인공지능 기반

* 기본법은 EU법과 달리 '인공지능 모델'은 정의되어 있지 않음

[비교]

o 인공지능 : 인간의 지능을 모방하는 기술ㆍ기법 또는 학문 분야

(예 : 머신러닝, 컴퓨터비전, 자연어 처리(NPL), 음성인식 등)

o 인공지능 시스템 : 특정 목표를 달성하기 위해서 실제로 운영되는 기계 기반의 전체 구조

o 인공지능 모델 : 인공지능 시스템의 핵심 엔진 또는 핵심 구성요소로서 입력에서 출력을 도출하기 위해서 사용되는 물리적, 수학적 또는 논리적 표현. 데이터와 알고리즘을 결합하여 인공지능 모델을 만듦

(예 : 통계모델, 신경망 모델, 의사결정 트리 등)

* 비유 : 인공지능(자동차 공학) → 인공지능 시스템(자동차) → 인공지능 모델(자동차 엔진)

[요건]

o 목표(objectives) : 인공지능 시스템의 목표는 명시적, 암묵적 목표를 모두 포함한다. 즉 개발자가 직접 입력, 지시한 명시적 목표는 물론, 상황에 따른 규칙이나 학습데이터로 형성된 암묵적 목표를 말한다.

* 명시적 목표 : 개발자가 시스템에 직접 인코딩한 목표 (예 : 체스게임 승리)

* 암묵적 목표 : 규칙(rule)이나 훈련 데이터 내에 내재된 목표

* 미리 알 수 없는 목표 : 강화 학습 등을 통해서 사용자 선호도를 점진적으로 파악해 가는 경우

o 자율성(autonomy) : (인간의 권한 위임 이후) 시스템이 사람의 직접적인 개입 없이도 독립적으로 데이터를 학습하고 외부 환경을 판단하며 운영될 수 없는 것을 말한다.

o 적응성(adativeness) : 초기 개발 후에도 지속적으로 발전할 수 있는 기계학습 기반 시스템의 특성으로, 배포 전후에 입력되는 데이터와 직접 상호작용하여 스스로 행동 방식을 수정할 수 있음을 의미한다. 입력되는 데이터는 입력하는 자(개발자, 이용자) 또는 입력방법을 불문한다.

* 적응성이 가장 중요한 징표로서, 시스템이 명시적인 프로그래밍 단계를 넘어서, 데이터를 통해 스스로 기능을 변화시킬 수 있음을 의미하는바, 고정된 알고리즘을 가진 시스템과는 다름

* 적응성 때문에 최초 출시 시점뿐만 아니라 사후 모니터링, 위험 관리나 인적 개입, 설명 가능성 등이 중요함

* 기계 학습의 유형 : 기계 학습이란 고정된 공식이 아니라 경험(데이터)을 통해서 스스로 진화하는 알고리즘을 의미함. 정답(레이블)이 있는 데이터를 학습하는 지도학습, 정답 없이 데이터 간의 유사성이나 패턴을 발견해 내는 비지도학습, 행동에 따른 보상을 통해 최적의 방법을 학습하는 강화 학습 등이 있음

o 결과물(consequences) : 시스템의 산출물로서, 과거와 현재의 데이터를 기반으로 미래상황 등을 추측하는 예측, 사용자의 선호도나 행동 패턴을 분석해 선택지를 제안하는 추천, 가장 높은 자율성을 가지고 시스템이 독립적으로 판단하여 실행하는 결정 등이 이에 해당한다.

* 예측(predictions) : 알려진 데이터로부터 알려지지 않은 값을 추측함 (예 : 카메라 입력 내 보행자 인식)

* 추천(recommendation) : 특정 행동을 제안함 (예 : 운전자 지원 시스템의 브레이크 권고)

* 결정(decision) : 가장 높은 자율성 단계로 환경에 직접 영향을 미침 (예 : 자동 브레이크 작동)

* 의도하지 않은 결과물 : 개발자가 의도하지 않은 결과물을 내놓는 경우 즉 인간의 의도와 시스템의 결과물이 일치하지 않을 때 OECD 보고서는 최종적인 책임은 개발자나 운영자에게 있다고 봄

- EU AI법은 불확실성 및 위험 관리를 위해서 기술적 견고성ㆍ정확성 유지 의무, 시스템 작동 전 과정에서 인간이 개입할 수 있는 장치를 마련해야 하는 등의 인간의 감독 의무, 투명성과 설명가능성 관련 규제를 하고 있음

- 의도하지 않은 결과물은 정렬 실패 등에 그 원인이 있음

* 정렬 실패(alignment failure) : 인공지능 시스템의 목표나 행동이 인간의 의도, 윤리적 가치, 또는 설계자의 목적과 일치하지 않는 현상으로서 설계적 하자로 볼 수 있음

- 원인 : AI가 목표를 달성하기 위해서 가장 쉬운 편법을 찾는 보상 해킹(먼지를 안 보이게 하라고 명령하자, 청소를 하지 않고 먼지를 소파 밑으로 밀어 넣는 예), 인간의 가치를 수치화된 숫자로 바꾸는 과정에서 발생한 오류인 프록시 오류(유투브 추천 알고리즘이 사용자 만족 대신에 시청 시간 지표만 매몰되어 자극적인 가짜 뉴스를 퍼뜨리는 예), AI가 숨은 사회적 맥락이나 도덕적 금기를 이해하지 못한 맥락 이해의 부재(인구 문제를 해결하라고 하자 전쟁을 해결책으로 제시하는 예)

- 정렬의 내용 : AI 학습 알고리즘이 목표에 부합하도록 하는 내적 정렬, 사람이 설정한 목표가 인간의 윤리적 가치 등에 부합하도록 하는 외적 정렬

- 정렬실패의 결과 : 편향적인 알고리즘, 설명 가능성의 부족, 예측 불가능한 손해 등

- 규제 : EU AI법은 고위험 AI 시스템에 대하여 위험관리 시스템 도입, 인간의 감독 의무, 기술적 견고성과 정확성, 데이터의 거버넌스 관리, 투명성과 기록 유지 의무 등을 부과함

* 정렬 실패(alignment failure)의 사례

- 네덜란드 AI 시스템(SyRI) 사건 (2020) : 네덜란드 정부가 복지 부정수급자를 찾아내기 위해 AI 시스템(SyRI)을 활용했으나, 저소득층과 이민자 밀집 지역을 집중 감시하는 결과를 초래함. 네덜란드 법원은 이 시스템이 투명하지 않고(블랙박스), 특정 계층을 차별하여 유럽인권협약(ECHR) 제8조(사생활의 권리)를 위반했다고 판결하며 운영 중단을 명령함. "부정수급 적발 효율화"라는 목표가 "시민의 기본권 보호"라는 가치와 정렬되지 않은 사례임

- 미국 컴파스(COMPAS) 재범 예측 사례 : 미 법원에서 피고인의 재범 위험도를 측정하는 AI가 흑인 피고인을 백인보다 위험하다고 판정하는 경향이 발견됨.

o 인공지능 기반 시스템 : 인공지능을 기반으로 한다는 것은 단순히 인공지능을 보조적으로 활용하는 수준이 아닌 인공지능이 핵심적 역할을 하는 경우를 의미함

* OECD 보고서

- AI system : 명시적 또는 암시적 목표를 위해, 수신한 입력으로부터 물리적 또는 가상 환경에 영향을 미칠 수 있는 예측, 콘텐츠, 권고 또는 결정 과 같은 출력을 생성하는 방법을 추론하는 기계 기반 시스템.

- OECD 보고서는 AI 시스템의 위해성에 대한 법적 책임은 시스템 자체가 아닌 최종적으로 인간에게 있음을 명확히 하고 있음 (법적 책임의 배타성)

- 개발자의 '진정한 의도'와 시스템의 '명시적 목표'가 달라 발생하는 정렬 불량의 경우에도, 그 결과에 대한 책임은 시스템이 아닌 인간에게 귀속됨

* EU AI법

- AI 시스템이란 다양한 자율성 수준과 배포 후 적응성을 나타낼 수 있도록 설계된 기계 기반 시스템으로, 명시적ㆍ묵시적으로 주어진 목표를 달성하기 위해 실제ㆍ가상 환경에 미칠 수 있는 예측, 콘텐츠, 추천, 결정 등의 결과물의 생성 방식을 입력 데이터로부터 추론하는 시스템을 의미한다.

* 인간의 법적 책임을 논할 때의 변수

- 인공지능 시스템의 자율성(autonomy) 정도

- 각 단계 별 적응성에 대한 인간 감독(Human Oversight)의 적절성

- 결과물에 대한 인간의 예측 가능성(foreseeability)