학습 데이터 유출, 악의적인 입력을 통한 모델 조작, AI 생성 결과물의 보안 위험 등이 발생할 수 있다. 기존 보안이 외부 침입 차단에 초점을 맞췄다면, AI 보안은 내부 정보 통제와 모델 무결성까지 포함한다.
주요 위험
AI 시스템은 다음과 같은 특수한 보안 위험에 대비해야 한다.
- 프롬프트 인젝션(Prompt Injection) : 악의적인 입력을 통해 AI가 의도하지 않은 정보를 노출하거나 지침을 무시하게 만드는 공격이다.
- 적대적 공격(Adversarial Attack) : 데이터에 미세한 노이즈를 추가하여 AI가 잘못된 판단(예: 고양이를 개로 인식)을 내리도록 유도한다.
- 모델 추출 및 기억화 : API 응답을 분석해 모델 로직을 모방하거나, 모델이 학습 시 암기한 개인정보를 그대로 출력하게 만드는 공격이다.
- 데이터 오염(Data Poisoning) : 학습 데이터에 악의적인 정보를 섞어 모델의 판단을 근거부터 왜곡시킨다.
- 할루시네이션(Hallucination) : 보안 관점에서 잘못된 정보 생성은 운영자의 법적 책임 문제로 이어질 수 있는 위험 요소다.
접근 통제
누가 언제 어떤 기능을 사용할 수 있는지를 관리하는 영역으로 인증과 권한 관리로 구성된다.
- 인증(Authentication) : 사용자나 시스템의 신원을 확인한다. JWT(JSON Web Token) 기반 인증이 일반적이며, 시스템 간 통신에는 API 키나 상호 TLS 인증을 사용한다.
- 권한 관리(Authorization) :
- RBAC(역할 기반 제어) : 사용자 그룹별로 기능을 정의한다. (예: 분석가는 조회만, 개발자는 배포까지)
- ABAC(속도 기반 제어) : 부서, 프로젝트, 접속 위치, 시간 등 다양한 속성을 조합해 정교하게 제어한다. (예: 사내망 접속 시에만 인사 데이터 접근 허용)
데이터 및 모델 보호
AI의 핵심 자산인 데이터와 모델 자체를 보호하기 위한 기술적 조치가 필요하다.
- 모델 보안 : 모델 파일을 암호화하여 무단 복제를 방지하고, 워터마킹 기술을 통해 유출 시 출처를 추적한다. 실행 환경은 컨테이너 등을 통해 격리한다.
- 입출력 필터링 : 프롬프트 인젝션 패턴을 사전에 차단하고, 생성된 결과물에서 개인정보나 기밀, 유해 콘텐츠를 자동으로 마스킹하거나 삭제한다.
단계적 보안 구축
- 1단계 : 기본 접근 통제 및 HTTPS 통신, 데이터 암호화 등 기초 보안 구축
- 2단계 : 입출력 필터링, API 호출량 제한, 추론 로그 기록 등 AI 특화 보안 적용
- 3단계 : 이상 탐지 시스템 및 하드웨어 기반 보안(TEE 등) 도입
법적 준수 및 거버넌스
기술적 보안뿐만 아니라 법적 요구사항을 충족하는 관리 체계가 필수적이다.
- 개인정보보호법 : 정보주체의 동의 및 최소한의 데이터 활용 원칙을 준수하고, 만료된 데이터는 자동 삭제해야 한다.
- GDPR (유럽 개인정보보호법) : 위반 시 막대한 과징금이 부과되며, AI의 판단 과정을 추적하고 설명할 수 있는 시스템을 요구한다.
- EU AI Act : 2024년 발효된 법안으로, 위험도에 따라 AI 시스템을 분류하고 차등 규제를 적용한다. 고위험 시스템은 별도 품질 관리 인증이 필요하다.
조직 내 AI 거버넌스를 강화하여 개발 및 활용 원칙을 정립하고, 데이터 출처부터 보안 점검 내역까지 모든 과정을 문서화하여 규제 대응력을 확보해야 한다.