제6조 고위험 AI 시스템의 분류 규칙(Classification Rules for High-Risk AI Systems)은 AI 시스템이 시장 출시나 사용 제공 방식과 관계없이 다음 두 요건을 모두 충족하는 경우 고위험으로 분류된다고 규정한다.
- AI 시스템이 제품의 안전 구성 요소로 사용되거나 AI 시스템 자체가 제품인 경우
- 해당 제품이 시장 출시 전 제3자 적합성 평가를 받아야 하는 경우
여기서 제품은 자동차, 의료기기, 장난감, 엘리베이터, 철도 차량, 가전제품 등 안전성과 소비자 보호를 위해 별도 적합성 평가가 필요한 제품을 말한다. 이러한 분야는 고장 시 생명·신체·재산에 직접적인 위험을 초래할 수 있어 AI 시스템이 구성 요소로 사용될 때 고위험으로 분류된다.
이외에도 생체인식 및 개인 식별, 주요 기반시설 운영, 교육과 직업훈련, 고용 및 근로자 관리, 필수 공공·민간 서비스 접근, 법 집행, 이민·망명 및 국경 통제, 사법행정과 민주적인 절차 지원 등 특정 분야의 AI 시스템은 개인의 권리와 사회 안전에 중대한 영향을 미칠 수 있어 고위험으로 분류된다.
다만, 건강·안전·기본권에 중대한 위험을 초래하지 않으면 고위험으로 보지 않고, 다음 중 하나에 해당하면 예외가 적용된다.
- AI 시스템이 단순 보조 업무만 수행하는 경우. (예) 온라인 접수 과정의 서류 형식 오류만 자동 검출해주는 프로그램 → 시스템은 결과를 판단하지 않고 형식적 절차만 확인
- 인간 활동 결과를 보완하거나 개선하는 경우. (예) 진단서에서 수치 오류를 찾아 수정 제안만 하는 AI 도구 → 이미 판단이 내려진 상태라 의료적 결정에는 영향을 주지 않음
- 독립적으로 인간 평가를 대체하지 않고 적절한 인간 검토가 수반되는 경우. (예) 은행 내부 감사 부서에서 과거 대출 승인 패턴과 다른 사례를 표시해주는 AI 시스템 → 시스템은 단순히 이상 징후를 알리고 최종 승인 여부는 반드시 사람이 검토
- 특정 분야 평가를 위한 준비 단계만 수행하는 경우. (예) 채용 과정에서 지원자의 자격증 유효 여부를 자동 확인해주는 시스템 → 실제 채용 적격성 판단은 면접관이 수행하고, AI는 단순히 서류 검증의 전단계만 지원
앞서 규정된 예외와 관계없이 특정 분야에서 사용되는 AI 시스템이 개인에 대한 프로파일링(Profiling)을 수행하는 경우에는 언제나 고위험으로 간주된다.
제공자가 특정 AI 시스템을 고위험이 아니라고 판단하면 시장 출시나 사용 제공 전에 평가 결과를 문서화해야 한다. 이 경우 제공자는 해당 AI 시스템을 EU 집행위원회가 운영하는 중앙 데이터베이스에 등록해야 하며, 관할 당국이 요청할 때에는 평가 문서를 제출해야 한다.