AI는 민감 데이터에도 접근하고 활용한다. 고객의 행동 이력, 결제 정보, 위치 정보 등 다양한 개인 데이터가 AI의 판단 근거로 사용된다. 민감 데이터까지 활용하면 AI의 정확성은 높아지지만 개인정보 오남용이나 유출 위험도 함께 증가한다.
개인정보 보호와 AI 활용 간의 균형을 맞춰야 한다. 사용자 동의 없이는 이름, 이메일 등 개인 식별 정보를 모델 학습에 사용할 수 없으며, 동의를 받았더라도 마스킹이나 익명화 처리 후 활용해야 한다.
마스킹은 실제 데이터를 유지하면서 특정 항목을 가려서 보여주는 방식이다. 이름은 “홍○○”, 전화번호는 “010-****-5678”로 대체된다. 익명화는 식별 정보를 완전히 제거하거나 여러 개체의 데이터를 통합하여 개인의 특성이 사라지도록 처리한다.
AI가 접근할 수 있는 데이터와 그렇지 않은 데이터를 구분하는 조치도 필요하다. 이를 위해 대부분 AI가 데이터베이스 전체가 아닌 허용된 테이블이나 컬럼에만 접근하도록 하며, 마스킹이나 익명화가 적용된 데이터베이스 뷰(View)를 별도로 구성한 후 필터링된 데이터에만 연결되도록 설계한다.
AI 모델에 대한 보안도 고려해야 한다. 최신 연구에 따르면, 학습된 모델이 과거 학습 데이터를 그대로 재생하거나 추론을 통해 민감 정보를 유출하는 사례가 발견되고 있다. 이는 모델의 구조나 기능을 외부에서 재현하려는 모델 추출 공격(Model Extraction Attack)과 민감한 학습 데이터가 모델에 남아 유출되는 모델 기억화(Model Memorization) 현상으로 나타난다.
AI 할루시네이션으로 인한 허위 정보 생성, 프롬프트 인젝션을 통한 시스템 조작, 적대적 공격(Adversarial Attack)을 통한 모델 오작동 등 AI에서만 볼 수 있는 보안 위험도 나타나고 있다. 이를 막으려면 학습 데이터 사전 검열, AI 응답 결과 필터링, 접근 권한 제한, 민감 정보 출력 차단 등의 안전장치가 필요하다.
실행 수준에서는 역할 기반 접근 통제, 로그 기록 관리, 접속 이력 감사 등 보안 체계가 기본으로 작동해야 한다. 생성형 AI가 도입된 경우 생성 내용에 대한 책임이 명확해야 한다. 누가 언제 어떤 질의를 했고 AI가 어떻게 응답했는지 추적할 수 있어야 하며, 생성 결과가 외부로 유출되지 않도록 하는 보호 장치도 필요하다.