제7조 부속서 Ⅲ의 개정(Amendments to Annex III)은 집행위원회가 제97조 위임입법에 따라 부속서 Ⅲ를 개정할 수 있음을 규정하며, 고위험 AI 시스템의 사용사례를 추가하거나 수정하는 경우에는 다음 두 조건을 모두 충족해야 한다.
- 영역 요건 (어디서 쓰이느냐) : 해당 시스템이 부속서 Ⅲ에 열거된 특정 영역에서 사용될 의도를 가져야 한다.
- 위험성 요건 (얼마나 위험한가) : 그 시스템이 개인의 건강과 안전, 기본권에 중대한 위험을 초래하며, 이미 부속서 Ⅲ에 포함된 고위험 AI 시스템과 동등하거나 더 큰 위험을 나타내야 한다.
영역 요건, 즉 부속서 Ⅲ에서 지정한 고위험 분류 대상 영역은 다음과 같다.
- 생체인식 및 개인 식별 (예: 출입국 심사에서 얼굴 인식으로 신원을 확인하는 시스템)
- 중요 기반시설의 운영·관리 (예: 전력망, 수도, 가스, 교통 관리 시스템에 적용되는 AI)
- 교육 및 직업훈련 (예: 학생 평가 자동화, 시험 채점, 직업훈련 성과 분석)
- 고용·근로자 관리 및 자영업 (예: 채용 과정에서 이력서를 자동 선별하는 시스템)
- 필수 공공·민간 서비스 접근 (예: 사회보장 수급 자격 심사, 의료 서비스 우선순위 결정)
- 법 집행 (예: 범죄 위험성 평가, 거짓말 탐지, 범죄 증거 분석 지원)
- 이민·망명·국경 통제 (예: 망명 신청자의 신뢰성 검토, 국경 통과 시 위험 평가)
- 사법행정 및 민주적 절차 (예: 법원에서 판례 검색·분석을 통한 판결 지원)
위험성 요건은 다음 기준을 고려한다.
- AI 시스템의 사용 목적
- 실제로 사용되었거나 사용될 가능성의 정도
- 처리되는 데이터의 성격과 양, 특히 민감한 개인정보 포함 여부
- 시스템의 자율 작동 정도 및 인간의 결정 무효화·수정 가능성
- 해당 시스템 사용이 이미 건강·안전에 피해를 주었거나 기본권에 부정적인 영향을 미친 사례 또는 그러한 위험성에 대한 보고·문서화된 제기 사례의 존재 여부
- 그러한 피해나 부정적인 영향의 범위와 강도, 특히 다수인에게 영향을 미치거나 특정 집단에 불균형적으로 영향을 줄 가능성
- 영향을 받는 사람이 실질적으로 결과에 종속되는 정도, 즉 법적인·현실적인 이유로 그 결과를 회피하기 어려운 경우
- 사용자와 피해를 입을 수 있는 사람 사이의 권력 불균형 또는 지위·권한·지식·경제적인·사회적인 상황·연령 등으로 인해 취약한 상태에 있는 경우
- 시스템 결과의 수정·원상회복 가능 여부. 다만 건강, 안전, 기본권에 해로운 결과는 쉽게 수정·원상회복 가능한 것으로 보지 않음
- 해당 AI 시스템이 개인, 집단, 사회 전체에 가져올 이익의 규모와 가능성
- 기존 EU 법률이 마련하고 있는 대응 수단의 존재 여부. 손해배상 청구를 제외한 위험에 대한 효과적인 구제 수단, 위험을 예방하거나 실질적으로 최소화하기 위한 효과적인 제도적인 장치
집행위원회는 제97조 위임입법에 따라 다음 두 가지 조건을 모두 충족하는 경우에 한해 부속서 Ⅲ에서 고위험 AI 시스템을 삭제할 수 있다.
- 해당 시스템이 더 이상 기본권, 건강, 안전에 중대한 위험을 초래하지 않는다고 판단되는 경우
- 그 삭제로 인해 EU 법이 보장하는 건강·안전·기본권 보호 수준이 낮아지지 않는 경우