제10조 데이터와 데이터 거버넌스(Data and Data Governance)는 고위험 AI 시스템이 데이터 기반 훈련 기법을 사용하는 경우, 훈련·검증·시험 데이터셋이 항상 품질 기준을 충족해야 한다고 규정한다.
이러한 데이터셋은 해당 시스템의 사용 목적에 맞는 데이터 거버넌스에 의해 운영되어야 한다. 여기에는 다음과 같은 사항이 포함된다.
- 데이터 설계 선택(Design choices)
- 데이터 수집 과정과 출처
- 데이터 준비 과정
- 데이터가 측정하고 대표하는 정보에 대한 가정(Assumption)
- 데이터셋의 가용성·양·적합성 평가
- 건강·안전·기본권 침해나 차별 위험을 초래할 수 있는 편향의 검토
- 편향의 탐지·예방·완화 조치
- 규제 준수를 방해하는 데이터 격차의 확인과 대응 방안
데이터셋은 사용 목적과 관련하여 충분한 대표성을 갖추고 가능한 한 오류가 없어야 하며, 완전성을 확보해야 한다. 또한 AI 시스템이 실제로 사용될 대상을 대표해야 한다. 만약 데이터셋이 적용 대상을 제대로 대표하지 못하면 해당 대상의 특성을 반영하지 못하므로 편향, 정확성 저하 등의 문제가 발생할 수 있다.
고위험 AI 시스템에서 편향을 탐지하고 교정하기 위해 예외적으로 인종, 민족, 정치적 견해, 종교, 노동조합 가입, 유전·생체 정보, 건강, 성적 지향 등 민감정보까지 처리할 수 있다.
개인을 식별할 수 없도록 처리된 익명 데이터, 실제 데이터를 통계적으로 표현한 합성 데이터를 통해 편향을 검증하거나 교정할 수 있어야 하지만, 인종 편향처럼 익명 데이터나 합성 데이터로는 특정 집단이 어떤 차별을 받는지 확인할 수 없으므로 이런 경우에는 최후의 수단으로 인종과 같은 민감정보의 처리를 허용한다는 취지이다.
다만, 민감정보 처리 시 재사용 제한, 가명처리 등 최신 보안·프라이버시 보호조치, 접근 권한 관리, 제3자 전송 금지, 보존기간 종료 시 삭제, 처리 사유의 문서화와 같은 엄격한 안전장치가 수반되어야 한다.
규칙 기반 시스템이나 전문가 시스템처럼 별도의 훈련 과정이 요구되지 않는 고위험 AI 시스템은 훈련 데이터나 검증 데이터가 존재하지 않으므로 시험 데이터셋에 한해 제10조에서 정한 데이터 품질과 거버넌스 요건이 적용된다.