AI 인프라의 가장 큰 병목이 스토리지라고 들었다. 단연 그럴 것이 학습을 위한 데이터 모두를 메모리에 저장할 수 없으니 그때그때마다 스토리지에서 불러오거나, 처리한 데이터를 스토리지에 저장해야하는데 스토리지는 보통 원격지에 있으니 네트워크를 통해 대용량 / 대규모 데이터를 전송해야하니 병목이 될 수 밖에 없다.
이번 글에서는 대규모 스토리지를 대표하는 클라우드 IaaS 의 shared storage 와 AI 인프라의 스토리지가 어떤 차이를 가지는지 / AI 인프라의 스토리지 기술에 대해 간단하게 알아본다.
1. AI 인프라 스토리지는 왜 다른가
전통적 엔터프라이즈 스토리지(SAN/NAS)는 데이터베이스, 가상머신, 파일 공유처럼 비교적 예측 가능한 랜덤 I/O와 안정적 지연시간을 위해 설계됐다. iSCSI 기반 SAN은 종종 밀리초 단위 I/O 지연을 감수하며, 스케일업 컨트롤러에 성능이 묶여 있다. AI 클러스터는 이 전제를 완전히 깬다.
첫째, GPU 경제학이 스토리지 병목에 극도로 민감하다. GPU는 비싸다. 스토리지가 배치(batch) 데이터를 제때 공급하지 못하면 GPU는 다음 작업을 위해 기다리는 시간이 늘어난다. 이는 고가의 GPU를 구축하더라도 성능을 온전히 내지 못하는 낭비로 이어진다.
둘째, 학습 I/O는 양극성을 가진다. 데이터 로딩·전처리·증강 단계에서는 수십억 개 작은 파일에 대한 소규모 랜덤 읽기가 발생한다. 여기서 진짜 병목은 대역폭이 아니라 메타데이터인 경우가 많다. 반면 체크포인트 단계에서는 패턴이 정반대로 뒤집혀 대규모 순차 쓰기가 폭발한다. 분산 학습의 체크포인트는 "다대일(many-to-one)" 쓰기로, 수천 개 GPU 프로세스가 동시에 멈추고 상태를 중앙 스토리지에 쏟아낸다.
셋째, 추론 I/O는 지연시간과 IOPS가 지배한다. 추론은 모델 로딩 속도, KV 캐시 오프로딩, RAG용 벡터 데이터베이스 접근, 사용자 대기시간 최소화를 요구한다. 학습이 "초 단위 지연도 대역폭만 유지되면 괜찮은" 처리량 게임이라면, 추론은 수십만 IOPS와 서브밀리초 지연을 요구하는 다른 게임이다.
2. 클라우드 IaaS 의 스토리지와는 무엇이 다른가?
A) I/O 패턴과 최적화 목표가 정반대
IaaS shared storage(Ceph RBD, EBS 같은 블록 스토리지, NFS 기반 NAS 등)는 VM 부팅 볼륨, DB, 웹 서버 등 수천 개 테넌트의 4K~16K 랜덤 I/O를 처리하는 것이 목표이다. 그래서 IOPS의 공평한 분배(QoS), 안정적인 지연시간, 리소스 사용량이 많은 VM의 격리가 핵심 설계 포인트다.
반면 AI 스토리지는 GPU 수천 장이 동시에 하나의 잡을 돌리면서 초당 수 TB의 순차 읽기와 대량의 쓰기 요청을 쏟아낸다. NVIDIA SuperPOD 기준으로 GPU당 4GB/s 읽기를 요구하는데, 이건 일반 IaaS 볼륨 수십~수백 개 분량의 대역폭을 단일 클라이언트가 소비하는 수준이다.
B) 데이터 경로 아키텍처가 다르다
IaaS 스토리지는 하이퍼바이저 → 스토리지 게이트웨이/컨트롤러 → 백엔드로 이어지는 다단계 경로를 거치며, 이 과정에서 iSCSI/가상화 계층 오버헤드로 밀리초급 지연이 발생해도 VM 워크로드에는 충분하다. AI 스토리지는 이 경로 자체를 제거하는 방향으로 간다. 클라이언트(GPU 노드)가 수십~수백 개 스토리지 서버와 직접 병렬 통신하고, GPUDirect Storage로 CPU와 시스템 메모리까지 바이패스해서 NVMe → GPU 메모리 DMA 직행 경로를 만든다. 컨트롤러를 거치는 스케일업 구조 vs 컨트롤러 병목이 없는 스케일아웃 구조의 차이라고 봐도 된다.
C) 실패의 비용 단위가 다르다.
IaaS에서 스토리지가 느리면 특정 VM 들이 느려지는 문제지만, AI 클러스터에서 스토리지가 느리면 수천 장의 GPU가 동시에 멈춘다. 동기식 분산 학습은 가장 느린 데이터 공급 경로에 전체가 묶이기 때문이다. H100 클러스터에서 체크포인트 쓰기가 5분 걸리면 그 5분 동안 클러스터 전체가 유휴 상태가 되고, 이게 시간당 수천 달러의 손실로 직결된다. 그래서 IaaS 스토리지는 "가용성과 내구성"이 최우선 SLA라면, AI 스토리지는 "GPU를 굶기지 않는 지속 처리량"이 사실상의 SLA이다.
D) 공유의 의미가 다르다.
IaaS의 shared storage는 격리된 볼륨을 여러 테넌트에 나눠주는 "multi-tenancy 공유"이다. 반면 AI 스토리지는 수천 개 클라이언트가 같은 데이터셋, 같은 네임스페이스를 동시에 읽는 "single namespace 공유"이고, 여기서 메타데이터 서버가 새로운 병목으로 등장한다. 수십억 개 작은 파일을 수천 노드가 동시에 open/stat 하는 상황은 전통 NAS가 전혀 상정하지 않은 워크로드이다.
3. AI 인프라의 스토리지 기술
A) NVMe-oF (NVMe over Fabrics)
원격 NVMe를 로컬 직결 수준 성능으로 공유하는 프로토콜이다. 전송 방식에 따라 지연이 갈린다. NVMe/RoCE(RDMA)는 100~150μs(구현에 따라 수십 μs 추가) 수준의 낮은 지연과 일관된 p99를 제공하고, NVMe/TCP는 300~500μs로 높지만 특수 하드웨어 없이 기존 이더넷에서 배포 가능하다.
iSCSI(밀리초급) 대비 두 방식 모두 압도적이다. AI 인프라에서는 지연에 민감한 경로에 RoCE, 범용·클라우드 환경에 TCP를 혼용하는 것이 실무 패턴이다.
B) GPUDirect Storage (GDS)
NVIDIA Magnum IO 제품군의 핵심 기술로, 스토리지와 GPU 메모리 사이에 DMA 직접 경로를 만들어 CPU 시스템 메모리의 "바운스 버퍼"를 제거한다. 전통 경로는 스토리지→시스템 메모리→GPU 메모리의 다단계 복사를 거치며 CPU가 병목이 된다. GDS는 이를 우회해 대역폭을 높이고 지연·CPU 부하를 낮춘다. PCIe 스위치 아래 GPU·NIC·스토리지가 함께 있으면 CPU 경유 대비 최소 2배 대역폭이 가능하다.
C) 오브젝트 스토리지 (S3 호환, MinIO, Cloudian 등)
AI 데이터 레이크의 근간이다. 평면 주소 공간으로 페타바이트→엑사바이트 확장이 쉽고, TensorFlow·PyTorch·Spark가 S3 API로 직접 연결된다. 전통적으로 "빠른 파일 + 느린 대용량 오브젝트" 조합이었으나, 2025년을 기점으로 S3 over RDMA가 판을 바꾸고 있다.
D) 분산 캐싱/데이터 오케스트레이션 (Alluxio, JuiceFS)
느린 데이터 레이크(S3 등)와 GPU 사이에 고속 캐시 계층을 둔다. Alluxio는 글로벌 네임스페이스로 여러 스토리지를 통합하고 데이터 지역성을 최적화해 GPU 활용률을 최대 90%까지 끌어올린다고 밝힌다. JuiceFS는 메타데이터 엔진(Redis/TiKV)과 오브젝트 스토리지를 분리한 POSIX 파일시스템으로, 초당 수백 GB 읽기 처리량과 밀리초급 메타데이터 응답을 표방하며 MiniMax·Zhihu 등 중국 AI 기업들이 멀티클라우드 학습·체크포인트 저장에 쓴다.
E) KV 캐시 오프로딩 (NVIDIA Dynamo, LMCache)
추론 스토리지의 격전지다. LLM은 대화 문맥을 KV 캐시로 GPU 메모리(HBM)에 두는데, 요청이 몰리면 캐시가 비워지고 재계산 비용이 폭발한다. NVIDIA Dynamo는 KV 블록 매니저(KVBM)와 NIXL 전송 라이브러리로 KV 캐시를 GPU HBM→CPU DRAM→NVMe/네트워크 스토리지로 계층 오프로딩한다.