NVIDIA는 원래 PC 게임용 그래픽카드에서 성장한 기업이다. 1999년 GPU(Graphics Processing Unit)라는 개념을 내놓으며 그래픽 연산이라는 새로운 컴퓨팅 영역을 열었다. 이후 GPU의 병렬연산 능력이 그래픽뿐만 아니라 과학계산과 AI에도 적합하다는 점에 주목했고, 2006년 CUDA를 공개하면서 GPU를 범용 연산에 활용할 수 있게 했다.
이 선택은 NVIDIA의 운명을 바꿨다. AI 학습에는 수많은 계산을 동시에 처리해야 하는데, 병렬연산에 강한 GPU가 여기에 적합했다. 특히 생성형 AI가 확산되면서 대규모 AI 모델을 학습하고 서비스하기 위한 GPU 수요가 폭발적으로 증가했다. 2024년 NVIDIA는 데이터센터 GPU 시장의 92%를 차지할 정도로 압도적인 위치에 올라섰다.
GPU와 함께 NVIDIA를 강하게 만든 것이 CUDA(Compute Unified Device Architecture)다. CUDA는 개발자가 GPU의 연산 능력을 AI 개발에 활용할 수 있게 해주는 소프트웨어 플랫폼이다. 이를 통해 NVIDIA와 외부 기업의 라이브러리, 개발도구, AI 프레임워크와 애플리케이션을 활용할 수 있다. 현재 500만 명 이상의 개발자, 4만 개 기업, 3,700개의 GPU 가속 애플리케이션이 플랫폼에 참여하고 있다. 경쟁사가 성능 좋은 GPU를 내놓는 것만으로 NVIDIA를 따라잡기 어려운 이유가 여기에 있다.
NVIDIA는 자체 공장을 보유하지 않은 팹리스 기업이다. GPU 아키텍처와 칩은 직접 설계하지만 제조는 TSMC에 맡기고, AI 연산에 필요한 HBM은 SK하이닉스·삼성전자·마이크론과 같은 메모리 기업에서 공급받는다. 여기에 첨단 패키징을 통해 고성능 AI 가속기가 완성된다. 세계 최고 수준의 기술을 가진 기업들을 하나의 공급망으로 연결하는 능력 자체가 NVIDIA의 경쟁력인 셈이다.
GPU도 빠르게 진화하고 있다. Hopper에 이어 Blackwell, Rubin, Rubin Ultra로 이어지는 로드맵을 추진하면서 연산 성능뿐만 아니라 HBM, 인터커넥트, 패키징도 고도화하고 있다. 이제 경쟁의 단위는 GPU 한 개의 성능에서 수십·수백 개의 GPU를 연결한 시스템으로 확대되고 있다.
이제 NVIDIA는 GPU 기업을 넘어 AI 컴퓨팅을 이끄는 기업이다. GPU를 중심으로 HBM과 첨단 패키징을 결합하고, CUDA로 개발자와 소프트웨어 생태계를 연결하며, 이를 대규모 AI 시스템으로 확장하고 있다.