6.5.

LLM05_공급망 취약성(Supply Chain Vulnerability)

• 새 탭 열기
• 작성 이력 보기

설명

LLM의 공급망은 취약하여 교육 데이터, ML 모델 및 배포 플랫폼의 무결성에 영향을 미칠 수 있습니다. 이러한 취약점은 편향된 결과, 보안 침해 또는 전체 시스템 오류로 이어질 수 있습니다. 전통적으로 취약점은 소프트웨어 구성 요소에 중점을 두지만, 기계 학습은 변조 및 중독 공격에 취약한 제3자가 제공한 사전 훈련된 모델과 훈련 데이터를 통해 이를 확장합니다.

마지막으로, LLM 플러그인 확장은 자체적인 취약점을 가져올 수 있습니다. 이러한 내용은 LLM 플러그인 작성을 다루고 타사 플러그인을 평가하는 데 유용한 정보를 제공하는 LLM07 - 안전하지 않은 플러그인 디자인 에 설명되어 있습니다 .

취약점의 일반적인 예

1. 오래되었거나 더 이상 사용되지 않는 구성 요소를 포함한 기존의 타사 패키지 취약성.
2. 미세 조정을 위해 취약한 사전 훈련된 모델을 사용합니다.
3. 훈련을 위해 중독된 크라우드 소스 데이터를 사용합니다.
4. 더 이상 유지 관리되지 않는 오래되거나 더 이상 사용되지 않는 모델을 사용하면 보안 문제가 발생합니다.
5. 모델 운영자의 불분명한 T&C 및 데이터 개인 정보 보호 정책으로 인해 애플리케이션의 민감한 데이터가 모델 교육 및 그에 따른 민감한 정보 노출에 사용됩니다. 이는 모델 공급업체가 저작권이 있는 자료를 사용하여 발생할 수 있는 위험에도 적용될 수 있습니다.

예방 및 완화 전략

1. 신뢰할 수 있는 공급업체만 선정하여 T&C 및 개인정보 보호정책을 포함하여 데이터 소스와 공급업체를 주의 깊게 조사하세요. 적절하고 독립적으로 감사되는 보안이 확립되어 있고 모델 운영자 정책이 데이터 보호 정책과 일치하는지 확인하십시오. 즉, 귀하의 데이터가 모델 교육에 사용되지 않습니다. 마찬가지로, 모델 관리자로부터 저작권이 있는 자료 사용에 대한 보증과 법적 완화를 구하십시오.
2. 평판이 좋은 플러그인만 사용하고 해당 플러그인이 애플리케이션 요구 사항에 맞게 테스트되었는지 확인하세요. LLM-비보안 플러그인 디자인은 타사 플러그인 사용으로 인한 위험을 완화하기 위해 테스트해야 하는 안전하지 않은 플러그인 디자인의 LLM 측면에 대한 정보를 제공합니다.
3. OWASP 상위 10개 A06:2021 – 취약하고 오래된 구성 요소 에 있는 완화 조치를 이해하고 적용하세요 . 여기에는 취약점 검색, 관리 및 패치 구성 요소가 포함됩니다. 민감한 데이터에 액세스할 수 있는 개발 환경의 경우 해당 환경에도 이러한 제어를 적용하십시오.
4. SBOM(Software Bill of Materials)을 사용하여 구성 요소의 최신 재고를 유지하여 정확한 최신 재고를 확보하고 서명된 재고를 확보하여 배포된 패키지의 변조를 방지합니다. SBOM을 사용하면 날짜가 없는 새로운 취약점을 신속하게 감지하고 경고할 수 있습니다.
5. 이 글을 쓰는 시점에서 SBOM은 모델, 해당 아티팩트 및 데이터 세트를 다루지 않습니다. LLM 애플리케이션이 자체 모델을 사용하는 경우 데이터, 모델 및 실험 추적 기능을 갖춘 보안 모델 리포지토리를 제공하는 MLOps 모범 사례와 플랫폼을 사용해야 합니다.
6. 외부 모델 및 공급업체를 사용할 때도 모델 및 코드 서명을 사용해야 합니다.
7. 제공된 모델 및 데이터에 대한 이상 탐지 및 적대적 견고성 테스트는 훈련 데이터 중독 에서 설명한 대로 변조 및 중독을 탐지하는 데 도움이 될 수 있습니다 . 이상적으로 이는 MLOps 파이프라인의 일부여야 합니다. 그러나 이는 새로운 기술이며 레드팀 구성 연습의 일부로 구현하기가 더 쉬울 수 있습니다.
8. 구성요소 및 환경 취약성 스캔, 승인되지 않은 플러그인 사용, 모델 및 해당 아티팩트를 포함한 오래된 구성요소를 포괄하는 충분한 모니터링을 구현하십시오.
9. 취약하거나 오래된 구성 요소를 완화하기 위한 패치 정책을 구현합니다. 애플리케이션이 유지 관리되는 API 버전과 기본 모델에 의존하는지 확인하세요.
10. 공급업체 보안 및 액세스를 정기적으로 검토하고 감사하여 보안 상태나 T&C가 변경되지 않도록 하세요.

공격 시나리오 예

1. 공격자는 취약한 Python 라이브러리를 악용하여 시스템을 손상시킵니다. 이는 최초의 Open AI 데이터 유출에서 발생했습니다.
2. 공격자는 항공편 검색을 위한 LLM 플러그인을 제공하여 사기 사용자로 이어지는 가짜 링크를 생성합니다.
3. 공격자는 PyPi 패키지 레지스트리를 악용하여 모델 개발자를 속여 손상된 패키지를 다운로드하고 데이터를 유출하거나 모델 개발 환경에서 권한을 상승시키도록 합니다. 이것은 실제 공격이었습니다.
4. 공격자는 경제 분석 및 사회 연구를 전문으로 하는 공개적으로 사용 가능한 사전 훈련된 모델을 중독시켜 잘못된 정보와 가짜 뉴스를 생성하는 백도어를 만듭니다. 그들은 피해자가 사용할 모델 시장(예: Hugging Face)에 이를 배포합니다.
5. 공격자는 모델을 미세 조정할 때 백도어를 생성하는 데 도움이 되도록 공개적으로 사용 가능한 데이터 세트를 오염시킵니다. 백도어는 다양한 시장의 특정 회사를 미묘하게 선호합니다.
6. 공급업체(아웃소싱 개발자, 호스팅 회사 등)의 손상된 직원이 데이터, 모델 또는 코드 훔치는 IP를 유출합니다.
7. LLM 운영자는 모델 교육을 위한 애플리케이션 데이터 사용을 명시적으로 거부하도록 T&C 및 개인정보 보호정책을 변경하여 민감한 데이터를 기억하게 되었습니다.

참조 링크

1. 보안 회사가 취약한 구성 요소 악용에 대해 경고함에 따라 ChatGPT 데이터 침해가 확인되었습니다 : Security Week
2. 플러그인 검토 프로세스 OpenAI
3. 손상된 PyTorch-nightly 종속성 체인 : Pytorch
4. PoisonGPT: 가짜 뉴스를 퍼뜨리기 위해 Hugging Face에 뇌엽절단 LLM을 숨긴 방법 : Mithril Security
5. 육군, 'AI BOMs : Defense Scoop ' 가능성 검토
6. 기계 학습의 실패 모드 : Microsoft
7. ML 공급망 손상 : MITRE ATLAS
8. 기계 학습의 전이성: 적대적 샘플을 사용한 현상에서 블랙박스 공격까지 : Arxiv 백서
9. BadNets: 기계 학습 모델 공급망의 취약점 식별 : Arxiv 백서
10. VirusTotal 중독 : MITRE ATLAS