제12조 기록 유지(Record-Keeping)는 고위험 AI 시스템의 작동 내역(로그)을 자동으로 기록하고 보관하는 의무를 규정한다. 작동 내역을 사람이 임의로 기록하는 것은 허용하지 않으므로 반드시 자동 로그 기능을 갖추어야 한다.
따라서 고위험 AI 시스템은 사건(Event)을 자동으로 기록하도록 설계되어야 하는데, 이는 시스템 운영 중 발생하는 주요 내역에 대해 문제를 확인하고 원인을 밝히기 위해 마련된 것이다.
이 기능은 시스템의 비정상적인 패턴이나 예외적인 사건을 식별하고, 시판 후 모니터링(Post-market monitoring)을 지원해야 한다. 특히, 고위험 AI 시스템은 감독자가 지정되어야 하는데, 이 감독자가 시스템을 감독하는 과정과 그 사건들을 자동으로 기록해야 한다. 예를 들어, 의료 AI의 경우 의사가 시스템이 제시한 진단 결과를 확인하고, 그 판단을 승인한 시점과 근거가 기록되어야 하는 것이다.
부속서 Ⅲ 제1호에 해당하는 고위험 AI 시스템의 경우에는 최소한 다음 항목을 기록해야 한다.
- 사용의 시작 및 종료 시점
- 시스템이 입력 데이터를 대조한 기준 데이터베이스 (예: 지문 인식 시스템이 사용자의 지문을 저장된 지문 데이터베이스와 비교하는 것)
- 검색 과정에서 일치 결과가 나온 입력 데이터 (예: 지문 인식에서 스캔한 지문이 데이터베이스의 지문과 일치했을 때 → 그 지문 데이터가 기록됨)
- 결과 검증에 관여한 개인의 식별 정보
이 조항은 고위험 AI 시스템의 투명성과 책임성을 확보하기 위해 반드시 자동 로그 기록 기능을 갖추고, 그 내용이 규제 당국의 사후 감독과 위험 관리에 활용될 수 있도록 해야 한다는 점을 규정하고 있다.