제14조 인간 감독(Human Oversight)은 고위험 AI 시스템이 인간 감독에 의해 운용되도록 규정하고 있다. 단순한 감독이 아니라 적절한 도구를 통해 시스템의 기능과 한계를 파악·점검하며, 필요 시 중단할 수 있는 기능을 제공해야 한다.
감독의 목적은 시스템이 목적에 따라 사용되거나 오용 상황에서 발생할 수 있는 건강, 안전, 기본권 침해 위험을 예방하거나 최소화하는 데 있다. 특히 다른 안전장치로도 해결되지 않는 위험에 대해서는 인간의 개입이 최종 안전망 역할을 해야 한다.
따라서 감독 조치는 시스템의 위험도와 자율성, 사용 환경에 맞게 설계된다. 예컨대 의료 진단 AI는 음악 추천 AI보다, 완전 자동 시스템은 인간 보조 시스템보다, 병원은 가정보다 강한 감독이 필요하다.
이때 조치는 시장 출시 이전 제공자가 내재화하는 기술적 조치와 배포자가 실행하는 운영적 조치로 나뉜다. 제공자는 정지 버튼이나 오류 탐지 기능처럼 설계 단계에서만 구현 가능한 안전 장치를 책임지고, 배포자는 감독자 지정, 출력 검증 절차, 교육과 같은 실행 단계 조치를 담당한다. 법은 이처럼 제공자와 배포자의 책임을 분리하면서도 서로 이어지도록 설계하여 기술적 안전성과 운영적 안전성이 상호 보완되도록 하고 있다.
감독자는 다음을 수행할 수 있어야 한다.
- 시스템의 기능과 한계를 이해하고 이상 징후나 예기치 못한 성능을 식별하여 대응할 수 있어야 한다.
- 자동화 편향(Automation bias)을 경계하고 인지할 수 있어야 한다.
- 제공된 도구와 방법을 활용해 결과를 올바르게 해석해야 한다.
- 특정 상황에서는 시스템을 사용하지 않거나 그 출력을 무시, 우회, 번복하는 결정을 내릴 수 있어야 한다.
- 정지 버튼 등 유사한 절차나 수단을 통해 시스템을 안전하게 중단할 수 있어야 한다.
특히 부속서 III 제1호에 해당하는 고위험 AI 시스템, 즉 생체 인식 및 분류 시스템의 경우에는 감독 요건이 한층 강화된다. 이때는 한 번의 식별 결과만으로 배포자가 어떤 조치나 판단을 내려서는 안 되며, 반드시 자격과 권한을 갖춘 두 명 이상의 사람이 따로 검증하고 확인해야 한다. 다만 법 집행, 이주, 국경 관리, 망명 목적에 사용하는 경우에는 유럽연합법이나 국내법에서 과도하다고 판단하면 예외가 인정된다.
이 조항은 고위험 AI 시스템의 안전한 운용을 보장하기 위해 인간의 판단권을 제도적인 수준에서 확보하고, 기술적인 자동화와 인간적인 개입 사이에 균형을 맞추려는 법적 장치라 할 수 있다.