시스템은 일치하는 값만 인식한다. 사람은 같은 뜻으로 이해할 수 있지만 시스템은 정확히 일치하지 않으면 전혀 다른 내용으로 받아들인다. 실제 현장에서는 이런 일이 빈번하다. 부서 정보를 입력할 때 어떤 곳은 부서명, 다른 곳은 소속, 팀, Department로 서로 다르게 표현하면 AI가 같은 의미로 해석하지 못한다.
요즘은 LLM이 있으니 이런 차이는 해석할 수 있다고 생각하는 경우도 많다. LLM은 프롬프트 엔지니어링을 통해 다양한 형식의 데이터를 해석할 수 있지만 다음과 같은 이유로 LLM의 능력에만 의존할 수 없다.
- LLM 처리 비용이 높아 대량 데이터 처리 시 부담이 크다.
- 해석 과정이 느려서 실시간 처리에 적합하지 않다.
- 해석 결과가 매번 달라질 수 있어 일관성을 보장하기 어렵다.
- LLM 해석 단계가 추가되면 시스템이 복잡해지고 오류 가능성이 높아진다.
표준화는 중요하지만 현업에서는 표준화의 중요성을 간과하는 경향이 있다. 당장은 문제가 없어 보이기 때문이다. 사람끼리는 서로 다른 용어를 써도 맥락으로 이해하고 넘어간다. 하지만 이런 방식으로는 자동화가 불가능하다.
표준화는 거창한 작업이 아니다. 같은 의미의 데이터를 같은 방식으로 표현하는 규칙을 정하는 일이다. 시작은 핵심 데이터부터다. 예를 들어 “처리중”, “진행 중”, “처리대기” 같은 표현을 ‘처리중=1’로 통일하고, 날짜 형식을 YYYY-MM-DD로 맞추며, 단위는 ‘원’이나 ‘천 원’ 중 하나로 고정한다. 이렇게 상태값, 분류 코드, 측정 단위부터 우선 합의해 정리해 나가는 것이다.
국제 표준과의 호환성도 고려해야 한다. AI 시스템과 학습 데이터를 설계할 때는 다음과 같은 국제 기준을 함께 반영해야 한다.
- ISO/IEC 25023 : 기능성, 신뢰성, 성능 효율성 등 소프트웨어 품질 특성을 정량적으로 측정하기 위한 기준이다. AI를 포함한 전체 시스템 품질을 평가할 때 적용된다.
- ISO/IEC 5259 : AI 학습 데이터의 품질 특성과 관리 기준을 정의하는 표준 시리즈다. 데이터 수집, 정제, 라벨링 과정의 품질 확보에 사용된다.
- ISO/IEC 24028 : AI 시스템의 보안, 투명성, 회복성 등 신뢰성 확보 원칙을 다루며, 설계 단계에서 안정성과 설명 가능성을 높이는 데 활용된다.
이미지, 동영상, 텍스트 등 데이터 유형별 표준을 적용하고, 외부 시스템과 연계를 고려한 메타데이터 구조도 설계해야 한다. 이 작업은 라벨 정의서 한 장, 공통 코드표 하나로도 시작할 수 있다. 표준이 없으면 확장도 어렵다. 부서 간 연동, 사내 시스템 간 연결, 외부 시스템과의 연결은 표준을 필요로 한다.