데이터를 저장하고, 모델을 실행하며, 에이전트를 호출하는 워크플로우가 원활하게 작동하려면 인프라(Infrastructure)이 달라져야 한다. 기존 시스템과 달리 AI는 계산량이 크고, 데이터 흐름이 복잡하며, 실행 경로가 조건에 따라 달라지기 때문이다.
GPU 중심 연산
연산 자원의 구조부터 다르다. AI 모델은 대부분 GPU(Graphics Processing Unit) 기반의 연산이 필요하다. 대형 언어 모델이 수십억 개 파라미터를 동시에 처리하려면 GPU의 병렬 연산 능력이 필수다.
트랜스포머 모델의 어텐션 메커니즘은 단어 간 관계를 동시에 계산하기 때문에 순차 연산에 최적화된 CPU보다는 병렬 연산이 가능한 GPU가 필수다. 실제 운영에서는 API 요청과 비즈니스 로직은 CPU 서버에서 처리하고, 모델 추론만 GPU 서버로 전달한다. 추론과 훈련의 하드웨어 요구사항도 다르므로 용도별로 서버를 분리 운영하는 것이 효율적이다.
저장소
AI 시스템은 정형 데이터부터 비정형 데이터까지 다양한 형태의 데이터를 처리해야 하므로 목적에 맞는 다양한 저장소가 필요하다.
- 벡터DB(Vector DB) : 텍스트나 이미지를 다차원 숫자 배열로 변환하여 저장하고, 유사도 계산을 통해 의미 기반 검색을 지원한다. ‘강아지’와 ‘개’처럼 의미가 유사한 단어를 벡터 공간에서 가깝게 배치하여 검색한다. Pinecone, Weaviate, pgvector 등이 널리 사용된다.
- 캐시DB(Cache DB) : 자주 사용되는 데이터를 메모리(RAM)에 키-값 형태로 보관하여 수백 배 빠른 응답을 지원한다. 모델 추론 결과나 프롬프트 응답을 캐시하여 사용자 대기 시간을 줄인다. Redis나 Memcached가 대표적이다.
- 시계열DB(Time Series DB) : 시간 순서로 발생하는 대량의 데이터를 효율적으로 저장한다. 데이터가 시간 순서대로 들어오기 때문에 압축률이 높고 특정 시간 범위의 데이터를 빠르게 조회할 수 있다.
모델 가중치 및 표준 포맷
모델의 핵심 데이터인 가중치와 실행 환경 간의 호환성을 관리하는 인프라도 중요하다.
- 고속 저장 장치 : 모델 가중치는 수십~수백 기가바이트에 달하므로, GPU 메모리로 빠르게 로딩하기 위해 일반 하드디스크보다 빠른 SSD가 필수다.
- 체크포인트(Checkpoint) : 훈련 중단 시 저장된 지점부터 재개할 수 있게 해주는 백업본이다. 대규모 훈련에서 필수적인 안전장치 역할을 한다.
- ONNX(Open Neural Network Exchange) : Microsoft와 Meta가 주도한 모델 표준 포맷이다. 서로 다른 프레임워크(PyTorch, TensorFlow)나 기기(서버, 모바일) 간의 호환성 문제를 해결해준다.
데이터 연계
AI는 프롬프트 이력, 피드백 등 다양한 메타데이터를 생성한다. 이런 데이터 간 연계는 Apache Kafka, Flink 같은 스트리밍 도구나 Apache Airflow 같은 워크플로우 도구로 관리된다.
시스템은 데이터 파이프라인에서 실시간 추론을 수행하고, 그 결과를 데이터웨어하우스에 적재하여 분석 도구에서 활용한다. 배치 처리와 실시간 처리의 하이브리드 구조를 통해 효율성과 즉시성을 동시에 확보하는 것이 AI 인프라 설계의 핵심이다.