6.9.

LLM09_지나친 의존(Over Reliance)

• 새 탭 열기
• 작성 이력 보기

설명

LLM이 잘못된 정보를 생성하고 이를 권위 있는 방식으로 제공할 때 과도한 의존이 발생할 수 있습니다. LLM은 창의적이고 유익한 콘텐츠를 생성할 수 있지만 사실이 부정확하거나 부적절하거나 안전하지 않은 콘텐츠를 생성할 수도 있습니다. 이것을 환각 또는 조작이라고 합니다. 사람이나 시스템이 감독이나 확인 없이 이 정보를 신뢰하면 보안 위반, 잘못된 정보, 잘못된 의사소통, 법적 문제 및 평판 손상이 발생할 수 있습니다.

LLM 생성 소스 코드는 눈에 띄지 않는 보안 취약점을 유발할 수 있습니다. 이는 애플리케이션의 운영 안전과 보안에 심각한 위험을 초래합니다. 이러한 위험은 다음과 같은 엄격한 검토 프로세스의 중요성을 보여줍니다.

• 감시
• 지속적인 검증 메커니즘
• 위험에 대한 면책조항

취약점의 일반적인 예

1. LLM은 부정확한 정보를 응답으로 제공하면서 매우 권위 있는 방식으로 이를 언급합니다. 전체적인 시스템은 이를 처리하기 위한 적절한 견제와 균형이 없이 설계되어 있으며, 그 정보가 사용자에게 해를 끼치는 방식으로 오도하는 경우가 있습니다.
2. LLM은 안전하지 않거나 결함이 있는 코드를 제안하므로 적절한 감독이나 확인 없이 소프트웨어 시스템에 통합될 경우 취약점이 발생할 수 있습니다.

예방 및 완화 전략

1. LLM 결과를 정기적으로 모니터링하고 검토합니다. 일관성이 없는 텍스트를 필터링하려면 자체 일관성이나 투표 기술을 사용하세요. 단일 프롬프트에 대한 여러 모델 응답을 비교하면 출력의 품질과 일관성을 더 잘 판단할 수 있습니다.
2. 신뢰할 수 있는 외부 소스를 통해 LLM 출력을 교차 확인하세요. 이러한 추가 검증 계층은 모델이 제공하는 정보가 정확하고 신뢰할 수 있는지 확인하는 데 도움이 됩니다.
3. 출력 품질을 향상시키기 위해 미세 조정이나 임베딩을 통해 모델을 향상합니다. 일반적인 사전 훈련된 모델은 특정 영역에서 조정된 모델에 비해 부정확한 정보를 생성할 가능성이 더 높습니다. 이러한 목적을 위해 신속한 엔지니어링, 매개변수 효율적 튜닝(PET), 전체 모델 튜닝, 일련의 사고 프롬프트와 같은 기술을 사용할 수 있습니다.
4. 생성된 출력을 알려진 사실이나 데이터와 교차 검증할 수 있는 자동 검증 메커니즘을 구현합니다. 이를 통해 추가 보안 계층을 제공하고 환각과 관련된 위험을 완화할 수 있습니다.
5. 복잡한 작업을 관리 가능한 하위 작업으로 나누고 이를 다른 상담원에게 할당하세요. 이는 복잡성을 관리하는 데 도움이 될 뿐만 아니라 각 에이전트가 더 작은 작업에 대해 책임을 질 수 있으므로 환각 가능성도 줄어듭니다.
6. LLM 사용과 관련된 위험과 제한 사항을 명확하게 전달합니다. 여기에는 정보 부정확성 및 기타 위험 가능성이 포함됩니다. 효과적인 위험 커뮤니케이션은 사용자가 잠재적인 문제에 대비하고 정보에 입각한 결정을 내리는 데 도움이 됩니다.
7. LLM의 책임감 있고 안전한 사용을 장려하는 API 및 사용자 인터페이스를 구축하세요. 여기에는 콘텐츠 필터, 잠재적인 부정확성에 대한 사용자 경고, AI 생성 콘텐츠의 명확한 라벨링과 같은 조치가 포함될 수 있습니다.
8. 개발 환경에서 LLM을 사용할 때 가능한 취약점의 통합을 방지하기 위한 보안 코딩 관행과 지침을 확립하십시오.

공격 시나리오 예

1. 뉴스 조직에서는 뉴스 기사를 생성하기 위해 LLM을 많이 사용합니다. 악의적인 행위자는 이러한 과도한 의존을 이용하여 LLM에 잘못된 정보를 제공하고 허위 정보를 확산시킵니다.
2. AI가 의도치 않게 콘텐츠를 표절하여 저작권 문제를 일으키고 조직에 대한 신뢰도를 떨어뜨립니다.
3. 소프트웨어 개발 팀은 LLM 시스템을 활용하여 코딩 프로세스를 가속화합니다. AI의 제안에 지나치게 의존하면 안전하지 않은 기본 설정이나 보안 코딩 관행과 일치하지 않는 권장 사항으로 인해 애플리케이션에 보안 취약성이 발생합니다.
4. 소프트웨어 개발 회사에서는 LLM을 사용하여 개발자를 지원합니다. LLM은 존재하지 않는 코드 라이브러리나 패키지를 제안하고, AI를 신뢰하는 개발자는 자신도 모르게 악성 패키지를 회사의 소프트웨어에 통합합니다. 이는 특히 타사 코드나 라이브러리를 포함할 때 LLM 제안을 교차 확인하는 것이 중요하다는 점을 강조합니다.

참조 링크

1. LLM 환각 이해 : 데이터 과학을 향하여
2. 기업은 대규모 언어 모델의 위험을 사용자에게 어떻게 전달해야 합니까? : 기술정책
3. 한 뉴스 사이트에서는 AI를 사용하여 기사를 작성했습니다. 그것은 언론의 재앙이었다 : 워싱턴 포스트
4. AI 환각: 패키지 위험 : Vulcan.io
5. 대규모 언어 모델에서 환각을 줄이는 방법 : 새로운 스택
6. 환각을 줄이는 실제 단계 : Victor Debia