제17조 품질 관리 체계(Quality Management System)은 품질 관리 체계를 수립·운영하도록 의무화하고, 다음과 같은 문서화된 정책, 절차, 지침의 형태를 갖추도록 규정하고 있다.
- 적합성 평가 절차와 고위험 AI 시스템의 변경 관리 절차를 포함해야 한다.
- 설계, 개발, 품질 관리를 기술적인 절차와 체계를 갖추어야 한다.
- 개발 전·중·후 단계에서 수행해야 하는 시험, 검증, 유효성 확인 절차를 포함해야 한다.
- 기술 사양과 표준을 명시하고, 관련 EU 표준이 충분히 적용되지 않는 경우 별도의 준수 방안을 포함해야 한다.
- 모든 데이터 관련 처리 절차를 포함해야 한다.
- 제9조에서 규정한 위험 관리 체계를 포함해야 한다.
- 제72조에서 규정한 시판 후 모니터링 체계를 설정, 실행, 유지해야 한다.
- 제73조에서 규정한 중대 사고 보고 절차를 포함해야 한다.
- 국가 관할 및 관련 당국, 인증기관, 타 운영자, 고객 등과의 소통 절차를 포함해야 한다.
- 모든 관련 문서와 정보의 기록 보관 체계와 절차를 포함해야 한다.
- 시스템 운영에 필요한 자원·데이터·부품 등이 안정적으로 공급되도록 자원 관리 방안을 포함해야 한다.
- 경영진과 직원의 책임을 규정한 책임 체계를 포함해야 한다.
이미 다른 EU 법에서 품질 관리 체계를 갖추도록 규정된 사업자의 경우, 제17조 요건을 추가하면 된다. 다만, 금융기관은 이미 EU 금융 서비스법(EU financial services law)에 의해 내부 지배구조, 리스크 관리, 절차 요건을 충족하도록 엄격히 규율되고 있다. 따라서 별도의 품질 관리 체계를 두지 않아도 된다.