모델의 연결과 실행

모델 선택 후 해야 할 일은 모델이 언제 호출되고 어떻게 업무에 연결되는지를 설계하는 일이다.

연결 단계

모델이 작업하려면 언제 시작되고, 무엇을 받아서, 어떻게 처리하고, 결과를 어디로 보낼지를 정해야 한다. 이 과정은 크게 5단계로 구분할 수 있다.

모델의 호출 지점 찾기 : 모델이 필요한 업무 지점을 식별한다.
모델의 호출 방식 결정 : 모델을 언제, 어떻게 호출할지 결정한다.
모델의 실행 방식 결정 : 모델이 실시간으로 또는 배치로 처리할지 결정한다.
모델의 연결 방식 결정 : 모델을 어떻게 조합하고 연결할지 결정한다.
모델의 배포 방식 결정 : 모델을 업데이트하고 교체하는 방법을 결정한다.

호출 지점

우선 모델의 호출 지점을 찾아야 한다. 이 지점은 주로 사람이 반복적으로 판단하던 업무 영역이다.

입력-판단-출력 지점 : 고객 문의 분류, 문서 요약, 데이터 분석 등 사람이 반복적으로 판단하던 업무다.
반복성 높은 지점 : 이메일 스팸 필터링, 상품 추천, 이상 거래 탐지 등 매번 비슷한 유형의 판단을 내려야 하는 업무다.
패턴성 있는 지점 : 계약서 검토, 재고 관리, 고객 응대 업무 등 처리 방식이 어느 정도 정형화되어 있는 업무다.
독립 실행 가능 지점 : 내용 번역, 이미지 분류, 텍스트 요약 등 다른 업무와 독립적으로 실행될 수 있고, 실패해도 전체에 치명적 영향을 주지 않는 업무다.

호출 방식

모델의 호출 방식은 상황에 따라 다르다.

이벤트 기반 호출(Event-driven) : 고객 문의가 접수되면 분류 모델이 호출되는 것처럼 특정 이벤트 발생 시 모델을 실행한다.
스케줄 기반(Scheduled) : 매일 아침 9시에 전날 매출 데이터를 분석하는 것처럼 정해진 시간이나 주기마다 모델을 실행한다.
조건 기반 호출(Conditional) : 고객 만족도가 3점 이하로 떨어질 때 원인 분석 모델을 호출하듯이 특정 조건이 충족될 때만 모델을 실행한다.
체인 호출(Chained) : 문서 분류 모델의 결과에 따라 해당 유형에 맞는 요약 모델을 호출하는 구조처럼 다른 모델의 결과와 연동되어 실행된다.

실행 방식

모델의 실행 방식은 요구사항에 따라 다르게 설계된다.

실시간 추론(Real-time Inference) : 즉시 응답이 필요한 경우에 사용된다. 고객 문의에 대한 즉시 응답이나 실시간 위험 감지가 대표적이다.
배치 처리(Batch Processing) : 대량의 데이터를 일괄적으로 처리할 때 사용된다. 수천 개의 문서를 한 번에 분류하거나 월별 보고서를 생성하는 작업이 좋은 예다.
스트리밍 처리(Stream Processing) : 연속적인 데이터 흐름을 실시간으로 처리한다. IoT 센서에서 들어오는 데이터를 분석하거나 실시간 추천 시스템 운영에 활용된다.

연결 방식

하나의 모델만으로 실행할 때도 있지만, 복합적인 판단이 필요하다면 복수의 모델이 연결되어야 한다.

파이프라인 방식(Pipeline) : 단계별로 순차 처리한다. 문서 수신 → 형식 분류 → 내용 분석 → 요약 생성처럼 진행되는 구조다.
앙상블 방식(Ensemble) : 동일 입력에 대해 여러 모델이 병렬로 처리하고 결과를 통합한다. 여러 번역 모델의 결과를 종합하여 가장 적합한 번역문을 생성하는 방식이다.
라우팅 방식(Routing) : 입력 조건에 따라 서로 다른 모델을 호출한다. 문의 유형에 따라 기술 지원 모델과 결제 문의 모델 중 하나를 선택하는 구조다.
폴백 방식(Fallback) : 주 모델이 실패하거나 신뢰도가 낮을 때 대체 모델을 호출한다. 고성능 모델이 응답하지 못할 때 더 가벼운 모델로 전환하거나 모델의 신뢰도가 기준치 이하일 때 준비된 기본 응답을 제공하는 구조다.

결과 처리

모델이 응답 생성 후, 그 결과를 어디에 연결할 것인지도 설계해야 한다. 응답을 사용자에게 바로 보여줄 것인지, 다른 모듈로 넘길 것인지, 아니면 사람이 검토한 뒤에 실행할 것인지에 따라 후속 흐름이 달라진다.

AI의 판단 결과가 곧바로 실행으로 이어지는 경우라면, 신뢰도 기준을 설정하거나 조건부 실행 구조가 필요하다. 모델 응답이 일정 기준에 미달할 경우, 자동 실행을 중단하고 수동 검토 단계로 넘길 수도 있다. 모델의 배포 방식은 모델을 안전하게 업데이트하고 교체하는 방법을 결정하는 과정인데, 이에 대해서는 ‘Ⅲ. 운영관리’에서 자세히 다룰 예정이다.