제27조 고위험 AI 시스템에 대한 기본권 영향평가(Fundamental Rights Impact Assessment for High-Risk AI Systems)는 고위험 AI 시스템을 실제로 사용하는 배포자(Deployer)에게 부과되는 의무를 규정하고 있다. 특히 공공의 역할을 위탁받거나 공공 목적의 서비스를 제공하는 민간 주체는 시스템을 배포하기 전에 해당 AI가 인간의 기본권에 미칠 영향을 사전에 평가해야 한다.
배포자는 평가를 통해 다음 사항을 명시해야 한다.
- 시스템이 사용될 과정 및 목적
- 사용 기간 및 빈도
- 영향을 받을 개인 및 집단의 범주
- 예상되는 위험 요소 및 피해 가능성
- 인간 감독(Human oversight)의 실행 방안
- 위험이 현실화될 경우 취할 내부 통제 및 불만 처리 절차
여기서 '인간 감독’은 AI의 자율적인 판단 과정에 인간이 통제하는 구조를 뜻한다. 즉, 시스템 결과를 그대로 수용하지 않고 인간이 검토·중단·조정할 수 있는 것이다.
이 평가는 개인정보보호법(GDPR) 제35조 및 지침 2016/680 제27조에서 규정한 데이터 보호 영향평가(DPIA, Data Protection Impact Assessment)와 상호보완적인 관계다. 개인정보 보호 중심의 DPIA가 데이터 처리 위험을 평가하는 것이면, 기본권 영향평가는 더 넓은 사회적·인권적인 영향을 다룬다.
이 평가는 최초 사용 시점에 실시하며, 동일 조건의 반복 사용에서는 기존 평가를 활용할 수 있다. 다만 시스템의 기능, 환경, 위험요소가 변경될 경우에는 갱신해야 한다. 평가가 완료되면 그 결과를 관할 시장감시기관에 통보해야 하며, 유럽 AI 사무국(European AI Office)은 자동화된 평가 양식을 마련해 배포자가 간소화된 절차로 제출하도록 지원해야 한다.