29.

법원 인공지능연구회 발간, '사법에서의 인공지능 활용에 관한 가이드라인' (2025.2.)

• 새 탭 열기
• 작성 이력 보기

사법에서의 인공지능 활용에 관한 가이드라인. 2025. 2. 법원 인공지능연구회

[요 약]

제1장 총칙

인공지능은 법원의 재판 관련 활동의 효율성을 제고하고 소송당사자의 사법접근성을 높일 수 있는 효율적인 도구이나, 헌법상 기본권 보장, 사회적 약자 보호, 사법에 대한 신뢰 등 사법의 핵심 가치를 실현하기 위한 수단에 불과합니다.

이 가이드라인은 법관이 알아야 할 인공지능의 기본적 내용에 이어, 사법부가 인공지능 개발 및 도입에서 지켜야 할 원칙들, 법관이 인공지능을 활용할 때의 유의사항, 소송당사자가 인공지능을 사용하는 경우 법원의 심리 가이드라인을 다룹니다.

제2장 인공지능의 기본적 이해

인공지능은 대단히 강력하나, 완벽하지 않고 상당한 위험성도 내포하고 있습니다. 즉, 법관 또는 법조인이 수행하는 것과 같은 수준으로 사실을 인정하고 법리를 검토할 수 있는 인공지능은 없고, 대형 언어모델의 결과물이 전혀 존재하지 않는 내용일 수 있으며(환각 현상), 인공지능에서 생성된 정보는 훈련 데이터의 오류와 편견을 반영할 수 있습니다(편향성). 또한 인공지능은 딥페이크를 생성하는 데 사용될 수 있습니다.

제3장 사법부의 인공지능 개발 및 도입

1. (기본권 및 헌법적 가치의 보장 원칙) 

사법부의 인공지능은 대한민국헌법이 보장하고 있는 국민의 기본권을 침해하여서는 안 되고, 국민의 기본권을 증진하기 위한 목적으로 도입되어야 합니다.

특히 법관에 의한 재판을 받을 권리(헌법 제27조 제1항)와 법관의 독립성(헌법 제103조)이 제약되지 않도록 유의하여야 하고, 평등원칙(헌법 제11조 제1항)을 보장하기 위하여 훈련 데이터, 결과물의 편향성을 경계하여야 합니다.

2. (신뢰성의 원칙) 

사법부의 인공지능은 그 사용 목적에 부합하도록 정확성이 담보되어야 할 뿐만 아니라, 그 훈련 데이터의 편향성을 배제 또는 최소화할 수 있는 기술적 조치를 확보하기 위해 노력해야 합니다. 인공지능이 조력하는 부분이 사법작용의 본질에 가까워질수록 그 결과물의 정확성에 대한 검증가능성 및 설명가능성이 높은 수준으로 충족되어야 합니다.

3. (합법성의 원칙) 

사법부의 인공지능은 대한민국의 전체 법질서와 조화를 이룰 수 있어야 하고, 필요한 경우 민사소송규칙, 형사소송규칙 또는 각종 예규 등에 그 시스템 활용의 근거 및 한계가 규정될 필요가 있습니다.

기계적·자동적인 작업을 수행하는 인공지능이 아닌 한, 당사자들에게 인공지능을 이용한 업무처리 과정에 관하여 적정 수준으로 이해하고 참여할 기회를 제공해야 합니다. 훈련 데이터 수집 및 결과물 생성에 있어 개인정보 보호법과 지식재산권법 등의 관련 법령도 준수하여야 합니다.

4. (책임성의 원칙) 

사법부의 인공지능은 법관의 판단을 보조하기 위한 수단이므로, 사용자인 법관이 결과물의 정확성을 확인하고 검증할 수 있도록 설계되어야 합니다. 법관에게 생성할 결과물의 기준을 설정할 수 있는 수단을 제공하는 것도 고려할 수 있습니다.

5. (투명성의 원칙) 

사법부의 인공지능은 데이터의 출처 및 선별 과정, 훈련 과정, 채택된 알고리즘 등 세부 사항을 문서화하는 것이 바람직하고, 그 전부 또는 일부를 일반 대중에게 공개하는 것을 고려할 수 있습니다.

6. (미래지향성의 원칙) 

사법부의 인공지능은 인공지능 모델의 변경 및 적용영역 확장이 원활하게 이루어질 수 있도록 개방적으로 설계되는 것이 바람직합니다. 인공지능 시스템의 개선을 위한 제도적 근거를 지속적으로 검토하여야 하고, 예산확보 등의 노력을 기울여야 합니다.

제4장 법관의 인공지능 활용

1. (기본권 및 헌법적 가치의 보장) 

법관은 인공지능 도구를 사용하는 과정에서 재판청구권, 법관의 독립성, 공정, 평등, 적법절차, 법치주의 등 사법부와 관련된 헌법적 가치와 기본권을 해치지 않도록 유의해야 합니다.

법관은 특히 국민의 신체의 자유가 직접 제한되는 형사사법절차의 경우에는 적법절차원칙에 유의하여 절차적 기본권을 보장하도록 노력해야 하고, 인공지능 결과물에 성별, 인종, 국적, 지역, 종교, 사회적 계층 등 특정 정보에 따른 편향이 발생할 수 있음을 인지하고, 인공지능 결과물이 평등원칙에 위배되지 않는지 신중하게 검토할 필요가 있습니다.

2. (책임 있는 사용 및 신뢰성의 보장) 

법관은 인공지능 결과물에 오류가 있는 경우 이에 대한 법적, 윤리적 책임을 질 수 있음을 인지하여야 합니다. 따라서 법관은 인공지능 결과물을 비판적으로 평가할 필요가 있고, 인공지능의 편향성 및 환각 현상 등에 관하여 기본적인 이해를 갖출 필요가 있습니다.

3. (상용 인공지능 활용상 유의점: 개인정보 및 기밀 보호) 

법관은 상용 인공지능 도구에 개인정보, 사건의 구체적 내용, 영업비밀, 사건 관계인의 사생활에 관한 내용, 판결문 초안 등을 입력하지 않도록 유의하여야 합니다. 법관은 사법부 공식 메일을 사용하여 상용 인공지능에 가입하거나 계정 정보에 직업을 법관으로 표시하는 것은 자제할 필요가 있습니다. 만약 개인정보가 유출된 경우, 신속하게 적절한 기술적 지원을 받아야 합니다.

제5장 소송당사자의 인공지능 사용에 대한 법원의 대응

1. (인공지능 사용 여부를 밝혀야 할 소송당사자의 의무) 

법원은 재판 과정에서 소송당사자가 제출한 서면뿐만 아니라 동영상, 그림, 음성 등의 증거가 인공지능을 사용하여 작성 또는 제작되었다고 의심되거나 상대방이 이를 지적하는 경우, 제출 당사자에게 해당 자료가 인공지능을 사용하여 작성·제작된 것인지 여부를 밝힐 것을 명할 수 있습니다.

소송당사자가 인공지능을 사용하여 소송자료를 제출한 경우, 법원은 사용된 인공지능 도구, 입력된 프롬프트, 소송당사자가 인공지능 결과물 검증을 위하여 취한 조치 등을 구체적으로 밝히도록 소송지휘할 수 있습니다.

소송당사자가 소송자료 및 증거자료에 인공지능이 사용되었는지 밝히도록 하는 민사소송규칙, 형사소송규칙 등의 개정도 고려될 수 있습니다.

2. (딥페이크 사용으로 인한 문제) 

소송당사자가 딥페이크를 사용함에 따라, 법관은 딥페이크 여부가 쟁점이 된 증거의 가치를 판단하기 어려워질 것이고, 이는 실체적 진실을 추구하는 사법작용에 장애를 초래할 우려가 있습니다.

제1장 총칙

인공지능은 최근 급격하게 발전하고 있습니다. ChatGPT, Gemini 등 생성형 인공지능 시스템(Generative AI)이 생성한 결과물은 인간이 만든 것과 외견상 크게 다르지 않습니다. 당사자 및 대리인이 인공지능을 사용하여 만든 자료를 법원에 제출하는 사례가 발생하고, 법률 분야에 특화된 인공지능 프로그램을 개발하는 리걸테크 사업이 발전하고 있습니다. 딥페이크[Deepfake, 딥러닝(Deep learning)과 페이크(Fake)의 합성어] 기술을 이용한 성착취물의 제작은 사회적으로 큰 문제가 되고 있습니다. 이렇듯 인공지능은 사법 분야에도 큰 영향을 미치고 있습니다.

인공지능은 법원의 재판 관련 활동의 효율성을 제고하고, 소송당사자의 사법접근성을 높일 수 있습니다. 가령 인공지능은 법관 및 직원들이 법령, 판례, 유사 사례 등을 신속, 정확하게 검색할 수 있는 보조적 도구로 사용될 수 있을 뿐만 아니라 당사자나 민원인들이 제출하는 서면을 요약하거나 요지를 추출할 수 있습니다. 이에 따라 사법부도 인공지능 도입을 추진하고 있습니다.

그러나 인공지능은 아직 완벽하지 않습니다. 인공지능 결과물은 설득력 있게 보이더라도 실제로는 정확하지 않을 수 있고, 심지어 편향되거나 허구일 수도 있습니다. 인공지능이 사법에서 무분별하게 사용되는 경우에는 법관에 의한 재판을 받을 권리를 비롯한 헌법상 기본권이 침해될 여지가 큽니다. 소송당사자가 인공지능으로 만든 자료를 법정에 제출하는 경우, 이를 적절히 심리하기도 쉽지 않습니다. 이에 사법정책자문위원회가 2024. 8. 14. 사법부의 인공지능 활용에 대한 법적·윤리적 기준을 제정할 필요가 있고, 그 기준에는 기본권 보장 및 평등의 원칙, 신뢰성 원칙 등을 포함하여야 한다고 건의하기도 하였습니다.

결국 인공지능은 법원의 재판 관련 활동의 효율성을 제고하고 소송당사자의 사법접근성을 향상시킬 수 있는 효율적인 도구이나, 헌법상 기본권 보장, 사회적 약자 보호, 사법에 대한 신뢰 등 사법의 핵심 가치를 실현하기 위한 수단에 불과합니다. 따라서 사법부의 인공지능 도입과 활용 등에 있어 사법의 본질 및 핵심 가치, 인공지능의 특성과 불완전성을 충분히 고려하여야 합니다.

이러한 점을 고려하여, 이 가이드라인은 법관이 알아야 할 인공지능의 기본적 내용에서 출발하여 사법부가 인공지능 개발 및 도입에서 지켜야 할 원칙들과 법관이 인공지능을 활용할 때 유의할 사항들을 다룹니다. 또한 소송당사자가 재판절차에서 인공지능을 사용하는 경우를 상정하여,

소송당사자들의 사법접근권을 보장하면서도 법원이 법령의 범위 내에서 사건을 적절히 심리하기 위하여 활용할 수 있는 가이드라인도 제공합니다. 인공지능은 이 순간에도 발전하고 있어 인공지능이 문제되는 상황은 변화할 수 있습니다만, 이 가이드라인은 현재 또는 가까운 미래에 예상되는 인공지능을 둘러싼 쟁점을 다룹니다.

제2장 인공지능의 기본적 이해

1. 기본 용어 및 개념

가. 이 가이드라인에서의 인공지능(Artificial Intelligence; AI)은 통상적으로 인간의 지능이 가지는 학습, 추리, 적응, 논증 등 기능을 수행하는 컴퓨터 시스템을 의미합니다. 인공지능은 방대한 데이터를 학습한 후 이를 신속하게 정리, 처리, 분류할 수 있습니다. 생성형 인공지능은 인간이 제출한 프롬프트(Prompt, AI 모델에서 출력을 생성하기 위해 입력하는 텍스트)에 대한 응답으로 이미지, 텍스트 등 새로운 결과물을 만들어 낼 수 있습니다.

나. 딥러닝(Deep Learning)은 다층 신경망을 사용하여 입력 데이터로부터 여러 단계를 거쳐 복잡한 특징을 추출하고, 이를 통해 최종적인 결과를 도출하는 방식입니다. 딥러닝 기반의 인공지능은 통상 고사양의 컴퓨터를 이용하여 다량의 데이터로 훈련합니다. 딥러닝은 인간의 두뇌가 작동하는 방식에서 착안되었으나, 현재는 인간의 두뇌와 다른 방식으로 구현되어 있습니다. 많은 인공지능, 특히 대형 언어모델을 포함한 생성형 인공지능 대부분은 딥러닝을 이용하여 개발되고 있습니다.

다. 대형 언어모델(Large Language Model, LLM)을 기반으로 한 생성형 인공지능은 가장 확률이 높은 다음 단어를 예측하는 방법 등으로 결과를 만들어 냅니다. 대형 언어모델은 셀프 어텐션(Self-attention)이라는 메커니즘을 기반으로 하는 트랜스포머(Transformer) 아키텍처를 활용하는 경우가 많고, 이 메커니즘을 통해 인공지능 모델은 문장 내 단어의 의미나 단어 사이의 관계를 다양한 각도에서 평가할 수 있어 단어 간의 맥락과 관계를 보다 효과적으로 이해합니다.

라. 딥페이크는 인공지능을 사용하여 실제와 혼동할 수 있는 동영상, 이미지, 오디오 등의 미디어, 또는 이를 만드는 기술을 말합니다.

2. 인공지능의 한계 및 위험성

인공지능은 대단히 강력하나, 아직 완벽하지 않고 상당한 위험성도 내포하고 있습니다.

가. 현재 법관 또는 법조인이 수행하는 것과 같은 수준으로 사실을 인정하고 법리를 검토할 수 있는 인공지능은 없습니다. 또한 대한민국 법률이 학습되었다고 단정하기도 어렵습니다.

나. 앞서 본 대형 언어모델의 구동 원리상, 대형 언어모델의 결과물은 반드시 진실이거나 신뢰할 수 있는 출처에 근거하지 않습니다. 심지어 대형 언어모델이 전혀 존재하지 않는 내용을 실제인 것처럼 만들어 내는 소위 ‘환각(hallucination)’ 현상도 자주 나타납니다. 가령 미국에서 존재하지 않는 판결 내용을 생성한 사례가 보고된 바 있습니다.

다. 인공지능은 훈련된 데이터 세트를 주된 기반으로 응답을 생성하므로, 인공지능에서 생성된 결과물은 훈련 데이터의 오류와 편견을 반영할 수 있습니다. 이에 따라 훈련 데이터가 공개되지 않은 경우라면, 인공지능의 결과물에 인간의 인지적 오류, 성별·종교·사회적 신분 등에 기초한 편견이 반영되었을 가능성을 항상 전제하여야 합니다.

라. 대부분의 상용 인공지능은 모델, 훈련에 사용된 데이터 등을 공개하지 않습니다. 모델, 훈련에 사용된 데이터 등이 공개되었다고 하더라도, 특히 딥러닝의 경우 특정 입력에 대응하여 특정 출력이 산출된 이유를 인간이 이해하기 어렵습니다.

마. 대형 언어모델을 비롯한 생성형 인공지능은 입력하는 구체적인 명령어, 즉 프롬프트(prompt)에 따라 답변의 내용이나 품질이 완전히 달라질 수 있고, 이는 사실상 같은 내용을 물어보는 경우에도 같습니다. 예시하면 다음과 같습니다(ChatGPT 4o 모델, 2024. 11. 21. 확인).

바. 인공지능은 딥페이크를 생성하는 데 사용될 수 있습니다. 최근 영상물 등을 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성 또는 가공하는 경우 이를 처벌하는 규정(2024.10. 16. 법률 제20459호로 개정된 성폭력범죄의 처벌 등에 관한 특례법 제14조의2 참조)이 신설될 정도로 딥페이크 기술이 보편화되었습니다. 이에 따라 소송에 제출된 자료의 진위를 판단하기 어려워질 것으로 예상됩니다.

제3장 사법부의 인공지능 개발 및 도입

1. 사법부의 인공지능 도입의 의의

인공지능은 사법부의 사법 판단뿐만 아니라 다양한 내·외부 업무처리를 위하여 개발되거나 도입(이하 ‘도입’으로 통칭합니다)될 수 있습니다. 사법행정업무를 간소화하고 각종 단순 반복 업무를 줄이는 등 인적·물적 자원을 절감하고, 이를 통하여 사법자원의 효율적 분배를 도모할 수 있습니다. 사법부는 국민들에게 공개된 인공지능을 도입함으로써 사법접근권(access to justice)을 제고할 수도 있습니다. 가령 장애인의 사법접근권 향상을 위한 시스템, 디지털 기기를 사용하기 어려운 국민(예컨대 노년층)의 전자소송 접근권 향상을 위한 시스템, 소송절차를 안내하는 등의 챗봇 형태의 시스템 등이 그 예시가 될 수 있습니다.

다만 앞서 본 인공지능의 한계와 위험성에 비추어, 사법부가 인공지능을 도입할 때에 지켜야 할 기본 원칙들과 유의사항을 아래와 같이 제시합니다.

2. 기본권 및 헌법적 가치의 보장 원칙

가. 사법부에 도입되는 인공지능 시스템은 대한민국헌법(이하 ‘헌법’이라고 합니다)이 보장하고 있는 국민의 기본권을 침해하여서는 안 되고, 국민의 기본권을 증진하기 위한 목적으로 도입되어야 합니다.

나. 사법부에 도입되는 인공지능 시스템으로 인하여 국민의 재판청구권의 핵심적인 권리인 헌법상 법관에 의한 재판을 받을 권리(헌법 제27조 제1항), 법관의 독립성(헌법 제103조)이 제약되지 않도록 유의할 필요가 있습니다. 또한 사회적 약자의 사법에 대한 실질적인 접근권을 향상하는 인공지능, 가령 장애인의 사법접근권 향상을 위한 시스템의 도입을 우선적으로 고려할 수 있습니다.

다. 헌법 제11조 제1항은 기본권으로서 평등권 또는 헌법상 평등원칙을 규정하고 있습니다. 인공지능은 기존의 편향된 데이터나 구조적으로 불평등한 과거의 사례들을 학습하여 차별을 강화할 우려가 있습니다. 따라서 인공지능을 도입하는 경우 훈련 데이터나 훈련으로 인한 결과물이 편향되어 있지 않은지 등을 확인함으로써 이러한 차별이나 불평등이 발생하지 않는지 수시로 점검하고 평가할 필요가 큽니다.

라. 헌법 제12조 제1항은 적법절차원칙을 규정하고 있습니다. 그런데 그 작동원리를 제대로 이해하기 힘든 인공지능이 법관의 판단이나 사법절차의 진행에 관여하게 된다면 당사자들이 사법절차에 참여할 기회가 줄어들어나 이를 감시할 기회가 실질적으로 제한될 수 있습니다.

3. 신뢰성의 원칙

가. 제2장에서 본 바와 같이, 인공지능의 결과물이 설득력 있게 보이더라도 실제로는 정확하지 않을 수 있고, 심지어 편향되거나 허구일 수도 있으며, 훈련 데이터의 오류와 편견을 반영할 수 있습니다. 따라서 사법부에 도입되는 인공지능은 그 사용 목적에 부합하도록 정확성이 담보되어야 할 뿐만 아니라, 그 훈련 데이터의 편향성을 배제 또는 최소화할 수 있는 기술적 조치를 확보하기 위해 노력해야 합니다.

나. 인공지능이 조력하는 부분이 사법작용의 본질에 가까워질수록 그 결과물의 정확성에 대한 검증가능성 및 설명가능성이 높은 수준으로 요구됩니다. 이는 외부 개발 인공지능 모델을 사법부에 도입하는 경우뿐만 아니라 사법부가 독자적으로 모델을 구축하는 경우에도 마찬가지입니다.

4. 합법성의 원칙

사법부에 도입되는 인공지능 시스템은 대한민국의 전체 법질서와 조화를 이룰 수 있어야 하고, 필요한 경우 민사소송규칙, 형사소송규칙 또는 각종 예규 등에 그 시스템 활용의 근거 및 한계가 규정될 필요가 있습니다. 특히 문제가 될 수 있는 것을 예시하면 다음과 같습니다.

가. 적법절차 관련

단순하게 기계적·자동적인 작업을 수행하는 인공지능이 아닌 한, 향후 도입될 인공지능은 당사자들에게 그 업무처리 과정에 관하여 적정 수준으로 이해하고 참여할 기회를 제공해야 합니다. 행정기본법 제20조에 따르면, 행정청은 인공지능 기술을 적용한 시스템을 포함하는 완전히 자동화된 시스템으로 처분을 할 수 있으나 그 처분에 재량이 있는 경우는 그러하지 않습니다. 재판절차에 행정기본법이 직접 적용되지는 않는다고 하더라도, 이 조항은 적법절차원칙을 구체화한 것이므로 그 취지는 충분히 고려될 가치가 있습니다.

나. 개인정보 처리 관련

1) 개인정보처리자는 개인정보의 처리 목적을 명확하게 하여야 하고 그 목적에 필요한 범위에서 최소한의 개인정보만을 적법하고 정당하게 수집하여야 하며, 개인정보의 처리 목적 외의 용도로 활용하여서는 아니 됩니다(개인정보 보호법 제3조 제1항, 제2항). 사법 업무를 보조하기 위한 인공지능의 훈련 및 사용에서 개인정보가 사용되는 경우 위 조항의 준수 여부를 유념할 필요가 있습니다.

2) 또한 개인정보 보호법은 제37조의2에서 인공지능을 포함한 ‘완전히 자동화된 시스템’으로 개인정보를 처리하여 이루어지는 자동화된 결정에 대한 정보주체의 권리, 즉 자신의 권리 또는 의무에 중대한 영향을 미치는 경우 거부할 권리, 설명을 요구할 권리 등을 규정하고 있습니다.

법원행정처 등은 개인정보 보호법상 공공기관이자 개인정보처리자에 해당하므로(동법 제2조 제5호, 제6호), 특히 결정을 자동화하는 인공지능의 경우 정보주체에게 거부할 권리 등을 보장할 필요가 있습니다.

3) 인공지능의 훈련 과정에서 특정한 개인 또는 단체에 관한 여러 사건의 정보가 통합되는 경우, 인공지능이 특정한 개인 또는 단체에 관한 편견이 있는 결과물을 생성하게 될 가능성이 있으므로, 인공지능의 훈련 등에 사용되는 데이터는 익명으로 처리하는 것을 고려할 수 있습니다.

다. 지식재산권 및 영업비밀 처리 관련

사법부가 인공지능을 도입하고 이를 훈련하는 과정에서 당사자 등의 지식재산권 또는 영업비밀이 침해되지 않도록 항상 유념하여야 하고, 필요한 경우 암호화 등 기술적 보안조치가 이루어지는 것이 바람직합니다.

5. 책임성의 원칙

가. 법관이 인공지능을 이용하여 자료를 생성하거나 법적 판단에 도움을 받는 경우에도, 인공지능은 법관의 판단을 보조하는 수단이므로 사용자인 법관이 최종적인 책임을 부담할 수 있습니다. 따라서 법관의 사법적 판단을 보조하기 위한 인공지능을 도입할 때에는, 사용자가 결과물의 정확성을 확인하고 검증할 수 있도록 설계되어야 합니다. 또한 법관에게 생성할 결과물의 기준을 설정하는 수단을 제공하거나, 사용자가 그 결과에 대한 책임을 부담한다는 점을 적절히 주지시킬 수 있는 설계도 고려할 수 있습니다.

나. 법관을 포함한 사법부 구성원들이 인공지능을 활용하여 사법작용의 효율성을 증진할 수 있도록 그 사용방법 등에 관한 교육이 적절히 제공되는 것이 바람직합니다. 또한 사용자가 인공지능의 한계를 인식하고 인공지능에 과도하게 의존하지 않도록 유의하는 교육도 제공될 필요가 있습니다.

6. 투명성의 원칙

사법부에서 인공지능을 도입하는 경우, 데이터[훈련(Training), 테스트(Testing), 검증(Validation) 데이터를 포함합니다]의 출처 및 선별 과정, 훈련 과정, 채택된 알고리즘 등 도입될 인공지능에 관한 세부 사항을 문서화하는 등의 조치를 취하는 것이 바람직합니다. 또한 사법부에 대한 공공의 신뢰, 인공지능의 악용 가능성, 기술 발전의 정도 등을 고려하여, 이러한 사항 중 전부 또는 일부를 구성원 또는 일반 대중에게 공개하는 것을 고려할 수 있습니다. 이는 헌법상 적법절차원칙과 국민의 공개재판을 받을 권리 등을 보장하기 위함이기도 합니다.

7. 미래지향성의 원칙

사법부에 도입되는 인공지능은 법적 판단의 변화, 사회적 변화를 반영할 수 있도록 설계되어야 합니다. 인공지능 모델은 급격하게 성능이 향상되고 있으므로, 사법부의 전산시스템은 도입한 인공지능 모델의 변경 및 새로운 인공지능 시스템의 도입이 원활하게 이루어질 수 있도록 개방적으로 설계되는 것이 바람직합니다.

또한 향후 인공지능의 조력을 받는 영역을 확장하고 그 성능을 고도화하기 위해서는 데이터를 확보하여야 하므로, 데이터를 지속적으로 확보하기 위한 조치(가령 차세대전자소송시스템 및 형사전자소송시스템의 도입 후 예규 등에서 이러한 데이터 수집의 근거 마련)가 인공지능의 도입 및 고도화에 유용할 것입니다.

이를 위하여 인공지능의 개선을 위한 제도적 근거를 지속적으로 검토하여야 하고, 예산확보 등의 노력도 기울일 필요가 있습니다.

제4장 법관의 인공지능 활용

1. 서론

이 장은 법관이 인공지능을 사용하면서 유의하여야 할 점에 관하여 다룹니다. 적절하게 활용하는 것을 전제로 한다면, 법관이 인공지능, 특히 상용 인공지능을 사법에 활용하는 것을 금지할 이유는 없습니다. 다만 법관은 인공지능을 안전하고 효과적이며 적절하게 사용하여야 하고, 인공지능의 효율성과 사법적 가치 사이의 균형을 도모할 필요가 있습니다. 특히 제3장에서 본 원칙, 가령 기본권 및 헌법적 가치의 보장 원칙, 신뢰성 및 책임성의 원칙은 법관이 인공지능을 활용하는 경우에도 관철될 필요가 있습니다.

따라서 이러한 원칙을 (제3장에서와 같이 사법부가 개발 또는 도입하는 측면이 아니라) 법관이 인공지능을 활용하는 측면에서 다시 살펴보고, 상용 인공지능을 활용할 때 특히 주의하여야 할 개인정보 및 기밀 보호에 관하여도 추가로 살펴봅니다.

2. 기본권 및 헌법적 가치의 보장

가. 법관은 인공지능 도구를 사용하는 과정에서 재판청구권, 법관의 독립성, 공정, 평등, 적법절차, 법치주의 등 사법부와 관련된 헌법적 가치와 기본권을 해치지 않도록 유의해야 합니다.

나. 법관에 의한 재판을 받을 권리는 법관이 사실을 확정하고 법률을 해석·적용하는 재판을 받을 권리를 뜻합니다(헌법재판소 2020. 12. 23. 선고 2019헌바353 결정 등 참조). 법관이 아닌 인공지능이 사실을 확정하고 법률을 해석·적용한다면, 재판청구권이 침해될 수 있으므로, 법관은 사실을 확정하고 법률을 해석·적용하는 행위를 법관을 보조하는 도구에 불과한 인공지능에 전부 위임할 수는 없습니다.

다. 법관은 국민의 신체의 자유가 직접 제한되는 형사사법절차의 경우에는 적법절차원칙에 유의하여 절차적 기본권을 보장하도록 노력해야 합니다. 따라서 법관이 피고인의 방어권 및 변호인의 변호권에 중요한 영향을 주는 사항에 관하여 인공지능을 사용하는 경우, 그 방어권 및 변호권을 실질적으로 행사할 수 있도록 해당 업무의 처리과정 등에 관한 정보를 적절하고 충분하게 제공해 주기 위하여 노력해야 합니다.

라. 법관은 인공지능 결과물에 성별, 인종, 국적, 지역, 종교, 사회적 계층 등 특정 정보에 따른 편향이 발생할 수 있음을 인지하고, 인공지능 결과물이 평등원칙에 위배되지 않는지 신중하게 검토할 필요가 있습니다.

3. 책임 있는 사용 및 신뢰성의 보장

가. 법관은 분쟁의 최종 판단자로서, 재판부의 모든 최종 판단에 있어서 책임을 집니다. 따라서 법관은 인공지능 결과물에 오류가 있는 경우 이에 대한 법적, 윤리적 책임을 질 수 있음을 인지할 필요가 있습니다.

나. 인공지능은 소위 ‘블랙박스’라고 불릴 정도로 그 작동원리나 과정이 분명하게 드러나지 않습니다. 인공지능은 기존 데이터를 기반으로 한 자동화된 알고리즘에 의하여 작동하므로, 사회의 변화나 사안의 특수성을 충분히 반영하지 못할 위험도 있습니다. 따라서 법관은 인공지능 결과물을 비판적으로 평가하고, 그것이 법적 원칙, 증거, 경험칙과 법감정과 일치하는지 확인하기 위하여 노력해야 합니다.

다. 인공지능 도구의 결과물을 과대평가하는 ‘자동화 편향’, 이를 중요한 기준으로 삼아 새로운 정보를 배척하는 앵커링 효과(Anchoring effect)가 나타날 수 있으므로, 법관은 인공지능의 도움을 받는 경우 이러한 점에 영향을 받았는지 자문하여야 합니다.

라. 제2장에서 본 바와 같이, 인공지능의 결과물은 허구이거나, 훈련 데이터의 오류와 편견을 반영할 수 있습니다. 법관은 인공지능을 재판에 관하여 사용하기 전 인공지능의 편향성, 환각 현상 등에 관한 기본적인 이해를 갖추고, 우수한 성능의 인공지능을 사용하며, 해당 인공지능 사용 방법을 충분히 숙지하고, 정확하고 신뢰도 높은 정보를 입력해야 합니다. 만약 인공지능 도구 사용에 익숙하지 않다면, 사법부에서 제공하는 교육 프로그램을 먼저 이수하거나 관련 전문가의 도움을 받아야 합니다.

4. 상용 인공지능 활용상 유의점: 개인정보 및 기밀 보호

가. 상용 인공지능을 사용할 경우 그 운영자가 입력된 정보를 저장하여 훈련에 사용한다고 전제할 필요가 있습니다. 따라서 법관은 양 당사자의 명시적인 동의가 없는 한, 상용 인공지능 도구에 개인정보, 사건의 구체적 내용, 영업비밀, 사건 관계인의 사생활에 관한 내용 등을 입력하지 않아야 합니다. 특히 판결문 초안 등을 인공지능에 입력하여서는 안 됩니다. 반면 공개된 자료(가령 등기부등본, 특허등록공보 등), 특정 개인을 알아볼 수 없도록 가명처리한 자료, 양 당사자가 모두 인공지능 처리에 동의한 자료(이러한 경우에도 제3자의 민감한 개인정보 등을 보호하기 위해 가명처리를 하는 것 등이 권유됩니다)는 상용 인공지능에 입력하는 것을 고려할 수 있습니다.

나 . 상용 인공지능은 공식 홈페이지를 통하여 이용하여야 합니다. 만일 인공지능 개발자나 공식 홈페이지에서 이용자(고객)가 입력한 데이터를 기반으로 하여 훈련하지 않는 옵션을 제공한다면 이를 선택하는 것을 고려하여야 합니다(가령 ChatGPT의 경우 https://privacy.openai.com/policies?modal=take-control에 서 ’Do not train on my content’를 선택할 수 있습니다). 사법부 공식 메일을 사용하여 상용 인공지능에 가입하거나 계정 정보에 직업을 법관으로 표시하는 것은 자제할 필요가 있습니다. 이는 재판부의 합의 내용이나 개인정보 등을 실수로 입력함으로써 발생할 위험성이 더 커질 수 있기 때문입니다. 개인정보가 유출된 경우, 최대한 신속하게 사법부 내 기술지원 관련 부서 등에 연락하여 적절한 기술적 지원을 받아야 합니다.

제5장 소송당사자의 인공지능 사용에 대한 법원의 대응

1. 서론

인공지능의 발달에 따라 소송당사자가 생성형 인공지능(Generative AI)을 사용하여 문서, 그림, 동영상 등을 만들어 주장서면이나 증거 등으로 제출하는 상황이 빈번할 것으로 예상됩니다.

심지어 딥페이크를 이용하여 작출한 증거가 재판에 제출될 가능성도 상당합니다. 이하에서는 소송당사자들이 재판 과정에서 인공지능을 사용하는 경우 제기될 수 있는 문제점을 검토하고 이에 대한 법원의 대응 방안을 살펴봅니다.

2. 인공지능 사용 여부를 밝혀야 할 소송당사자의 의무

가. 기존에 문서, 동영상, 그림, 음성은 기술적으로 위조·변조하기 어려웠으나, 지금은 인공지능을 사용하면 누구나 쉽게 이를 위조·변조할 수 있습니다. 또한 인공지능을 사용하여 작성된 문서의 경우 그 내용이 정확하지 않거나 편향될 가능성이 있습니다. 따라서 법원은 재판 과정에서 소송당사자가 제출한 서면뿐만 아니라 동영상, 그림, 음성 등의 증거가 인공지능을 사용하여 작성 또는 제작되었다고 의심되거나 상대방이 이를 지적하는 경우, 제출 당사자에게 해당 자료가 인공지능을 사용하여 작성·제작된 것인지 여부를 밝힐 것을 명할 수 있습니다. 특히 형사재판의 경우에는 증거능력이 엄격하게 요구되므로, 법관은 인공지능으로 생성된 자료가 증거로 제출된 경우 상대방에게 제출된 자료의 증거능력 유무에 관한 의견을 진술하게 한 후 증거결정을 하는 등 형사소송법과 형사소송규칙 등에 따라 증거능력 여부를 검토할 필요가 있습니다.

나. 생성형 인공지능을 사용하여 생성된 문서의 경우, 그 내용이 부정확하거나 편향성이 있을 가능성이 있습니다. 가령 대형 언어모델의 경우 프롬프트의 입력 값에 따라 결과물이 다르게 나타나고, 프롬프트를 조절하여 다른 결과를 발생시킬 수 있는 경우도 있습니다. 이에 따라, 법원은 소송당사자가 인공지능을 사용하여 소송자료를 제출한 경우 사용된 인공지능 도구, 입력된 프롬프트, 소송당사자가 인공지능 결과물 검증을 위하여 취한 조치 등을 구체적으로 밝히도록 소송 지휘할 수 있습니다.

다. 현재 기술로는 소송당사자가 제출한 문서, 동영상, 그림, 음성 등이 인공지능 도구로 제작된 것인지를 반드시 밝혀낼 수 있는 것은 아닙니다. 따라서 해당 자료들에 대한 감정 등을 거치더라도 인공지능 사용 여부를 밝히지 못할 위험성이 높습니다. 다만 소송당사자들이 제출한 자료에서 아래와 같은 부분들이 발견된다면 해당 자료가 인공지능을 사용하여 작성한 것으로 의심할 수 있습니다.

라. 앞서 본 바와 같은 증거의 위·변조 가능성, 인공지능 결과물의 부정확성 및 편향성, 법원의 인공지능 결과물 탐지 능력의 한계 등에 비추어 보면, 소송당사자가 소송자료 및 증거자료에 인공지능이 사용되었는지 밝히도록 하는 민사소송규칙, 형사소송규칙 등의 개정도 고려될 수 있습니다.

3. 딥페이크 사용으로 인한 문제

가. 소송당사자가 딥페이크를 사용함에 따라 예상되는 문제

재판 과정에서 딥페이크가 문제되는 상황은, ① 소송당사자가 (고의 또는 과실로) 딥페이크 기술로 위·변조된 이미지, 동영상을 제출하는 경우와 ② 딥페이크 기술을 사용하지 않은 이미지, 동영상에 대하여 소송당사자가 위조를 주장하는 경우로 나누어 볼 수 있는데, 두 가지 경우 모두 영상 등의 진위를 판단해야 한다는 문제를 야기합니다. 즉, 딥페이크 기술을 이용하면 이미지, 동영상을 매우 사실적으로 만들 수 있어서 (진본의 경우에도) 진본과 위작의 구별이 어려워질 가능성이 높습니다.

따라서 법관은 딥페이크 여부가 쟁점이 된 증거의 가치를 판단하기 어려워질 것이고, 이는 실체적 진실을 추구하는 사법작용에 장애를 초래할 우려가 있습니다.

나. 현재 딥페이크 기술이 사용되었음을 역추적할 수 있는지 여부 

현재 딥페이크 여부를 사후 추적하거나 이에 대응하는 기술 및 프로그램으로는 Microsoft Video Authenticator, Amber 인증, Sensity AI, Truepic 등이 있습니다. 또한 딥페이크 기술로 제작된 이미지 또는 동영상은 얼굴 특징 주변의 흐릿함, 부자연스러운 피부 질감, (동영상의 경우) 눈의 깜빡임의 부자연스러움 등과 같은 특징이 있다고 합니다. 그러나 딥페이크를 감지하는 기술이 불완전한 데 반해 딥페이크 기술은 고도로 발전하고 있으므로, 현시점에서 딥페이크 기술이 사용되었는지를 사후적으로 완전히 밝혀내는 것은 어렵습니다.

이에 따라 형사사건뿐만 아니라 민사 등 다른 유형의 재판에서도 증거로 제출된 이미지, 동영상의 진위를 밝히기 위한 감정비용의 지출이 늘어나거나 재판이 지연될 가능성이 커지리라 예측됩니다. 나아가 딥페이크 기술에 관한 지식이나 대응 능력이 부족한 소송당사자의 경우에는 재판청구권을 실질적으로 보장받지 못하게 될 우려도 있습니다.

4. 상황별 구체적 유의점

가. 인공지능으로 작성된 소장, 준비서면, 의견서 등 주장서면을 제출한 경우

나. 인공지능으로 작성된 문서, 동영상, 그림, 음성 등이 증거로 제출된 경우(딥페이크로 의심되는 경우 포함)

다. 소송당사자가 인공지능을 사용하여 양형, 재범률, 구체적 쟁점에 관한 전문적 의견 등을 제시한 경우

라. 소송당사자가 증거 수집·분석 과정에서 인공지능을 사용한 경우

끝.