기업 환경에서는 ERP, CRM 등 다양한 이기종 시스템이 분산되어 운영된다. 이러한 분산 환경에서 통합된 업무 처리를 위해 시스템별로 특화된 에이전트를 배치하고, 이들을 연결하는 멀티 에이전트(Multi-Agent)가 등장했다.
멀티 에이전트
멀티 에이전트는 독립된 시스템에서 작동하면서도 표준화된 프로토콜을 통해 연결되는 구조다. 예를 들어 고객 상담 시스템에서 CRM 에이전트가 고객 정보를 조회하고, ERP 에이전트가 주문 상태를 확인하며, 지식베이스 에이전트가 해결책을 검색한 후, 이 모든 정보를 통합하여 응답 생성 에이전트가 최종 답변을 만드는 방식이다.
MCP
이러한 연결을 위한 기술 중 하나가 MCP(Model Context Protocol)이다. MCP는 AI 모델이 외부 데이터와 도구에 표준화된 방식으로 접근할 수 있게 하는 개방형 프로토콜이다. 마치 USB 포트가 마우스, 키보드, 프린터 등 다양한 기기를 컴퓨터에 연결하는 공통 규격이듯, MCP는 AI가 데이터베이스, 파일 시스템, 웹 서비스 등 다양한 외부 시스템에 표준화된 방식으로 연결해주는 공통 규격이다.
MCP는 클라이언트-서버 아키텍처의 구조로 작동되며, 세 가지 핵심 요소로 구성된다.
- 클라이언트(Client) : 다른 시스템의 정보가 필요한 AI 애플리케이션이다. 고객 상담을 처리하는 시스템이 고객 정보를 조회하거나 문서 작성 AI가 데이터베이스에서 참고 자료를 가져올 때 해당 클라이언트 역할을 한다.
- 서버(Server) : 실제 업무를 처리하는 주체로써 데이터베이스, 파일 시스템, 웹 서비스 등 다양한 시스템에 접근할 수 있게 해준다.
- 프로토콜(Protocol) : 클라이언트와 서버 사이의 통신 규약으로 어떤 형식으로 요청하고 응답할지를 정의한다.
예를 들어 고객이 챗봇에게 “지난달 주문 현황을 알려줘”라고 요청했다고 하자. 챗봇(클라이언트)은 MCP 프로토콜을 통해 주문 관리 시스템(서버)에 요청을 보낸다. 주문 관리 시스템(서버)은 데이터를 찾아 동일 프로토콜로 응답한다. 이 과정에서 챗봇은 주문 관리 시스템의 내부 구조를 몰라도 되고, 주문 관리 시스템도 AI의 동작 방식을 이해할 필요가 없다.
LLM 간 연계
MCP를 통해 다른 LLM도 연결할 수 있다. 이는 특화 LLM들을 조합하여 더 고도화된 AI 서비스를 구축할 수 있다는 것을 의미한다. MCP를 통한 LLM 간 연계는 크게 세 가지 유형으로 나뉜다.
- 순차 연계 : 하나의 LLM 결과를 다음 LLM의 입력으로 전달하는 방식이다. 다국어 고객 문의 처리에서 언어 감지 모델이 문의 언어를 파악하면, 번역 특화 LLM이 한국어로 번역하고 답변을 생성하는 연속적인 흐름이 가능하다.
- 병렬 연계 : 동일 문제를 여러 LLM이 동시에 처리하고 결과를 종합하는 방식이다. 계약서 검토 시 법률 전문 LLM, 재무 분석 LLM이 각자의 관점에서 분석하고 통합 모델이 결과를 제시한다.
- 분기 연계 : 문의 내용에 따라 적절한 전문 LLM을 선택하는 방식이다. 계약서 문의는 계약 전문 LLM으로, 소송 관련 문의는 소송 특화 LLM으로 자동 연결되는 구조다.
멀티 LLM 연계
여러 LLM이 혼재된 시나리오에서는 통합 관리가 필요하다. 어떤 LLM을 언제 호출할지, 결과를 어떻게 조합할지 등 작업 순서와 조건을 관리한다.
- 대화 맥락 유지 : MCP의 세션 관리 기능을 통해 여러 LLM이 같은 컨텍스트를 공유할 수 있다. “앞서 말한 주문 건”과 같은 추가 질문 시 세션 ID를 통해 이전 대화 맥락이 모든 연계 LLM에 공유된다.
- 폴백(Fallback) 기능 : 특정 LLM이 응답하지 못할 때 대체 LLM으로 자동 전환하여 서비스 연속성을 보장한다. 전문 LLM 과부하 시 범용 LLM이 대신 응답하는 방식이 대표적이다.
연결 프로토콜 및 SDK
에이전트 간의 연결을 표준화하기 위한 다양한 규격과 도구들이 등장하고 있다.
- Google A2A(Agent2Agent) : AI 에이전트 간 연결을 표준화하는 개방형 프로토콜이다. Agent Card라는 메타데이터를 통해 자신의 역량을 공개하고, 에이전트끼리 내부 로직 노출 없이 정보를 교환한다.
- OpenAI Agents SDK : 2025년 3월 출시된 오픈소스 프레임워크다. 별도 서버 구축 없이 간단한 코드로 에이전트를 연결하며, MCP를 SDK에 포함시켜 데이터베이스나 API 등 외부 자원을 일관되게 활용하도록 설계되었다.
하이브리드
하이브리드 방식은 각 연결 방식의 장점을 활용한다. 외부 시스템 연동이 많은 작업에는 MCP 방식을, 에이전트 간 상호작용이 복잡한 작업에서는 A2A 방식을 사용하여 시스템 아키텍처를 명확히 구분하고 책임을 분리할 수 있다. 실제 업무 개선 효과와 운영 안정성을 우선 고려하여 최적의 연결 방식을 선택하는 것이 중요하다.