제5조 금지 AI 행위(Prohibited AI Practices)는 AI 활용 중에서도 예외 없이 금지되거나 극히 제한적으로만 허용되는 행위를 열거한다.
금지 행위
AI가 인간의 존엄과 기본권을 심각하게 침해할 수 있는 경우를 다음과 같이 규정하고 있다.
잠재의식 조작 및 기만적 기술의 금지
잠재의식 기술이나 기만적 기술을 활용하여 개인이나 집단의 행동을 왜곡하고 합리적인 의사결정 능력을 저하시켜 중대한 피해를 야기하거나 야기할 수 있는 AI 시스템의 시장 출시, 사용 개시, 이용을 금지한다.
잠재의식 기술은 인간이 인식하지 못하는 감각 자극을 활용해 무의식적 반응을 유도하는 방식이다. AI에 의해 설계된 게임이나 메타버스 환경에서 시각적·청각적 신호를 통해 사용자의 무의식적인 행동을 유도할 수 있다. 예를 들어, 특정 방향으로 이동하거나 특정 행동을 선택하도록 미세한 시각적 단서(Visual cues)를 삽입하는 것이다. 사용자는 스스로 선택했다고 생각하지만, 실제로는 AI가 의도적으로 행동 경로를 설계한 결과일 수 있다.
기만적 기술은 사용자가 잘못된 방식의 정보 제공으로 인해 자유로운 선택권을 사실상 빼앗기는 상황을 말한다. 예를 들어, 검색 질의에 대해 긍정적인 정보만 강조하고 부정적인 정보를 축소하는 방식으로 사용자의 인식을 왜곡할 수 있는데, 이것이 단순 오류가 아니라 의도적인 설계라면 **‘기만적 기술’**로 분류된다.
이러한 기술은 사용자의 의식적 통제권을 상실하게 만든다는 문제를 갖는다. 이는 사용자가 자율적인 결정을 내릴 자유를 침해하므로 잠재의식 기술이나 기만적 기술을 활용한 AI 시스템은 조건부 허용 없이 전면 금지한 것이다.
취약성 악용의 금지
연령, 장애 등 개인이나 특정 집단의 취약성(Vulnerability)을 악용하는 AI 시스템의 시장 출시, 사용 개시, 이용을 금지한다. 취약성이란 개인이 스스로 충분히 방어하거나 합리적인 결정을 내리기 어려운 상태를 말하며, 아동·노인·장애인과 같은 사회적 약자뿐만 아니라 경제적 빈곤층, 사회적으로 배제된 집단까지 포함한다.
예를 들어, 저소득층을 대상으로 AI 시스템이 단기 대출이나 구독 서비스를 과도하게 추천하여 장기적으로 부채를 확대시키는 경우, 사용자는 당장의 경제적인 필요나 할인 혜택에만 집중하게 되어 높은 이자율이나 해지 조건 등을 충분히 검토하지 못한 채 합리적 선택을 하기 어렵다. 이는 경제적 어려움이라는 취약성을 악용하는 행위로 볼 수 있다.
AI가 사회적 약자를 대상으로 의도적·체계적으로 개인의 행동 패턴, 소비 습관, 사회적 상황을 정밀하게 분석할 수 있으며, 이는 특정 집단을 타깃으로 한 조작이 더 정교하게 이루어질 수 있어 수용 불가능한 위험 Unacceptable risk으로 규정하고 조건부 허용 없이 전면 금지하고 있다.
차별적 안면인식 데이터 수집의 금지
인터넷이나 CCTV 영상에서 얼굴 이미지를 무차별적으로 스크래핑하여 얼굴인식 데이터베이스를 생성하거나 확장하는 AI 시스템의 시장 출시, 사용 개시, 이용을 금지한다.
안면인식 데이터의 수집은 개인정보 보호권과 사생활을 침해하며, 공공장소 CCTV와 결합할 경우 사실상 실시간 감시 체계가 구축되어 집회·표현·이동의 자유를 위축시킨다. 또한 정치적 통제, 상업적 악용, 차별적 프로파일링 등으로 남용될 수 있으며 삭제나 관리가 어렵다. 이를 수용 불가능한 위험 (Unacceptable risk)으로 규정하고 조건부 허용 없이 전면 금지하고 있다.
직장·교육기관에서의 감정 추론 금지
직장과 교육기관에서 개인의 감정을 추론하기 위한 AI 시스템의 시장 출시, 사용 개시, 이용을 금지한다. 다만 의료적 목적이나 안전상의 이유로 사용되는 경우는 예외다.
이 규정은 감정 추론(Emotion inference) 기술이 개인의 심리 상태를 탐지하여 평가·감시에 활용되면 노동자의 권리와 학생의 학습권·사생활에 심각한 침해를 가져올 수 있다는 위험성을 고려한 것이다. 기업이 AI를 통해 근로자의 집중도나 태도를 실시간 평가하거나 학교가 시험장에서 학생의 불안·스트레스를 측정해 부정행위 가능성을 추론하는 시스템은 개인의 자유와 존엄을 심각하게 위축시킬 수 있다.
예를 들어, 몇몇 기업은 화상회의 중 직원의 얼굴 근육 변화를 측정하여 몰입 여부를 판단하는 시범 사업을 진행했는데, 이는 근로자의 심리적 압박을 가중시키고 감정 데이터를 부당하게 축적할 수 있다.
이러한 감정 인식 기술이 인간의 내면적 정체성을 침해하거나 차별적·억압적으로 사용되지 않도록 원칙적으로 직장과 교육기관에서의 사용을 금지하되, 의료나 안전 목적의 제한적 예외만을 인정했다.
공공장소 실시간 원격 생체인식의 제한적 허용
공공장소에서 법집행 목적으로 사용되는 실시간 원격 생체인식 시스템은 원칙적으로 금지되지만, 다음 세 가지 경우는 예외적으로 허용된다.
- 납치·인신매매·성적 착취 피해자 및 실종자에 대한 표적 수색
- 개인의 생명이나 신체적 안전에 대한 구체적·중대한·임박한 위험이나 실제적이고 예측 가능한 테러 공격의 방지
- 부속서 II에 열거된 범죄로 해당 회원국에서 4년 이상의 자유형 또는 구금형에 해당하는 중범죄의 수사·소추 또는 형 집행을 위한 범죄자나 용의자 추적 및 신원 확인
이 규정은 실시간 생체인식의 남용이 기본권을 심각하게 침해할 수 있다는 점을 고려하여 원칙적으로 금지하되, 인명 보호와 범죄 대응이라는 공익적인 필요에 따라 제한적이고 엄격한 조건 아래 허용한다. 법집행 이외 목적에서의 생체정보 처리에는 개인정보보호 일반규정(GDPR) 제9조가 적용되어 개인정보 보호 규정과 일치된다.
공공장소 실시간 생체인식 사용 조건
공공장소에서 법집행 목적으로 실시간 원격 생체인식 시스템(Real-time remote biometric identification system)을 사용할 때는 특정 개인의 신원 확인이라는 제한된 목적에만 한정되어야 한다. 무차별적 감시나 광범위한 데이터 수집을 방지하기 위한 장치다.
사용 여부 판단 시 두 가지 요소를 고려한다.
- 시스템 미사용 시 발생할 수 있는 위해의 심각성, 발생 가능성, 규모를 종합적으로 검토해야 한다.
- 시스템 사용 시 영향받을 수 있는 모든 개인의 권리와 자유에 미칠 결과를 충분히 평가해야 한다.
시스템 사용은 각 회원국 국내법에 따라 승인된 경우에 한정되며 언제, 어디서, 누구에게 사용할지를 최소한으로 제한해야 한다. 사법 당국이나 집행기관은 시스템 사용에 앞서 기본권 영향평가 제27조를 완료하고 해당 시스템을 EU 데이터베이스 제49조에 등록해야 한다. 정당한 긴급 상황의 경우에는 등록 전에 사용을 시작할 수 있지만 지체 없이 등록을 완료해야 한다.
이 규정은 공공장소 실시간 생체인식의 남용을 막고 개인의 기본권을 보호하면서도 불가피한 공익 목적에 필요한 경우에만 제한적으로 허용하여 균형을 맞추고 있다.
공공장소 실시간 생체인식 사전 승인
공공장소에서 법집행 목적으로 실시간 원격 생체인식 시스템을 사용할 때는 반드시 사전 승인을 받아야 한다. 승인 권한은 사용이 이루어지는 회원국의 사법 당국이나 집행기관에 있으며, 합리적인 사유가 기재된 요청을 근거로 국내법에서 정한 절차에 따라 발급된다.
정당한 긴급 상황에서는 사전 승인 없이 즉시 시스템 사용을 개시할 수 있으나 늦어도 24시간 이내에는 승인을 요청해야 한다. 사후적으로 승인이 거부되면 즉시 사용을 중단하고 해당 사용으로 수집된 모든 데이터와 결과물을 즉시 폐기·삭제해야 한다.
사법 당국이나 집행기관은 제출된 객관적 증거 또는 명확한 정황을 근거로 해당 시스템을 정말 써야 하는지, 또 꼭 필요한 만큼만 쓰는지 검토한다. 특히 사용 기간, 적용 지역, 대상 범위를 최소한으로 제한해야 하며, AI 시스템의 결과만을 근거로 개인에게 불리한 법적 결정은 내릴 수 없다. 즉, AI는 참조자료이므로 최종 결정은 다른 증거와 사람의 판단에 의해 내려져야 한다는 의미다.
이 조항은 공공장소 생체인식 사용을 원칙적으로 금지하되 불가피한 경우에는 엄격한 사법적·행정적 통제를 두어 기본권 침해를 최소화하려는 취지를 보여준다.
공공장소 실시간 생체인식 사용 통지
공공장소에서 법집행 목적으로 실시간 원격 생체인식 시스템을 사용할 경우, 사전 승인과 별개로 시장 감시 당국(Market Surveillance Authority)과 국가 데이터 보호 당국(National Data Protection Authority, NDPA)에 반드시 통지해야 한다. 이 통지는 회원국 규정에 따라 이루어지며, 최소한 제6항에서 명시된 정보가 포함되어야 한다. 다만 범죄 수사와 직접 관련된 민감 정보는 제외된다. 시스템 사용이 승인되더라도 사후적으로 해당 사실을 감독 당국에 알리는 절차가 필수다.
회원국 규율 권한
AIA는 공공장소에서 법집행을 목적으로 실시간 원격 생체인식 시스템을 사용하는 문제를 회원국의 국내법에 위임하는 부분을 두고 있다. 회원국은 제5조 제1항 h호와 제2항, 제3항에서 정한 범위와 조건, 즉 납치·인신매매·성적 착취 피해자 및 실종자 수색, 테러 위협 방지, 범죄자 및 범죄 용의자 신원과 위치 파악의 경우에 해당 기술 사용을 전부 또는 일부 허용할 수 있다.
각 회원국은 승인 요청, 발급, 사용 절차와 사후 감독 및 보고 체계에 관한 세부 규정을 국내법으로 마련하여야 한다. 해당 규정에는 목적과 범죄 유형에 대하여 시스템 사용의 허용 여부를 명확히 규정해야 한다. 회원국이 이러한 세부 규정을 채택하면 30일 이내에 이를 유럽위원회에 통보하여야 한다.
회원국은 연합법에 부합하는 한, 원격 생체인식 시스템의 사용을 더 엄격하게 제한하는 국내법을 도입할 수도 있다. 이는 EU 차원의 공통 규제 틀을 마련하되, 각국이 자국의 헌법적 가치와 사회적 요구에 따라 더 높은 수준의 보호를 도입할 수 있음을 의미한다.
연례 보고 의무
AIA는 공공장소에서 법집행을 목적으로 실시간 원격 생체인식 시스템이 사용된 경우, 회원국의 시장 감시 당국과 국가 데이터 보호 당국이 유럽위원회에 연례 보고서를 제출하도록 규정하고 있다.
유럽위원회는 표준화된 보고 양식을 각 회원국과 감독 당국에 제공하며, 이 양식에는 사법 당국이나 집행기관이 승인 요청을 받은 건수, 승인 여부 결정 결과 등 구체적인 통계와 정보가 포함된다.
이러한 절차는 각국의 사용 현황을 EU 차원에서 투명하게 집계하고, 법집행 목적의 실시간 생체인식 기술이 예외적으로만 활용되는지를 지속적으로 점검하기 위한 장치다.
단순히 국가 단위에서만 관리하는 것이 아니라 유럽 차원에서 공통 기준에 따라 사용 현황을 기록·분석함으로써 남용을 방지하고 기본권 보호를 실질적으로 보장하려는 목적이다.
유럽위원회의 연례 공개 보고
AIA는 회원국의 감독 당국이 제출한 보고서를 토대로 유럽위원회가 매년 공공장소 실시간 원격 생체인식 사용 현황을 공개 보고하도록 규정하고 있다. 보고서는 회원국별 데이터를 집계한 형태로 작성되며, 법집행 목적의 실제 사용 건수와 승인 여부 등이 포함된다.
보고서에는 수사 기법이나 정보와 같은 민감 자료는 포함되지 않는다. 이는 법집행의 기밀성을 유지하면서도 EU 차원에서 해당 기술의 활용 현황을 투명하게 공개하기 위한 조치이다.
이 제도는 회원국의 사용 현황→유럽위원회의 집계→공개 보고라는 절차를 통해 실시간 원격 생체인식 기술이 남용되지 않고 엄격히 제한된 목적 안에서만 사용되는지 투명하게 감시한다.
기존 연합법과의 관계
AIA는 새로운 금지 범위를 추가로 설정하면서도 개인정보보호법(GDPR), 차별금지 규정, 소비자 보호 규정 등 기존 연합법과 긴밀히 연결되어 충돌하거나 그 효력을 약화시키지 않도록 설계되어 있다.
따라서 AIA는 독자적인 규제이면서 동시에 기존 연합법과 보완적인 관계를 형성하여 AI의 활용이 여러 법 체계 속에서 종합적으로 규제되도록 설계되어 있다.