제9조 위험 관리 체계(Risk Management System)은 고위험 AI 시스템에 대한 위험 관리 체계가 구축·이행·문서화·유지되어야 하며, 정기적인 검토와 갱신을 포함하는 지속적인 반복 과정이 운영되도록 규정하고 있다.
위험관리 절차는 네 단계로 구성된다.
- 사용 목적에 따른 위험의 식별 및 분석
- 사용 목적이나 예측 가능한 오용 상황에서의 위험 추정 및 평가
- 사후 모니터링 자료에 따른 기타 위험 평가
- 식별된 위험에 대한 적절한 관리 조치 채택
위험 관리 대상은 기술적으로 해결 가능한 위험으로 한정된다. 위험 관리 조치는 균형 있게 시행되어야 하며, 잔여 위험이 사회적으로 수용 가능한 수준이어야 한다.
여기서 잔여 위험(Residual risk)은 모든 기술적인·관리적인 조치를 취했음에도 남아있는 위험을 말한다. AIA는 위험 제로 상태를 요구하지 않는다. 합리적인 관리를 통해 사회적으로 용인될 수 있는 수준의 위험만 남으면 시장 출시와 사용을 허용한다. 이를 위해 설계·개발 단계에서 위험 제거, 적절한 완화·통제 조치, 사용자(배포자)에 대한 정보와 교육 제공이 요구된다.
고위험 AI 시스템은 사전 정의된 지표와 확률적인 기준에 따라 개발 전 또는 시장 출시 전 반드시 테스트를 거쳐야 하며, 필요 시 실제 환경에서도 시험이 이루어져야 한다.