전체 글11 AI 데이터센터 - 스토리지의 변화 AI 인프라의 가장 큰 병목이 스토리지라고 들었다. 단연 그럴 것이 학습을 위한 데이터 모두를 메모리에 저장할 수 없으니 그때그때마다 스토리지에서 불러오거나, 처리한 데이터를 스토리지에 저장해야하는데 스토리지는 보통 원격지에 있으니 네트워크를 통해 대용량 / 대규모 데이터를 전송해야하니 병목이 될 수 밖에 없다. 이번 글에서는 대규모 스토리지를 대표하는 클라우드 IaaS 의 shared storage 와 AI 인프라의 스토리지가 어떤 차이를 가지는지 / AI 인프라의 스토리지 기술에 대해 간단하게 알아본다. 1. AI 인프라 스토리지는 왜 다른가전통적 엔터프라이즈 스토리지(SAN/NAS)는 데이터베이스, 가상머신, 파일 공유처럼 비교적 예측 가능한 랜덤 I/O와 안정적 지연시간을 위해 설계됐다. iSC.. 2026. 7. 12. 왜 AI 데이터센터는 800V DC로 가는가: 전력 아키텍처 대전환의 모든 것 최근 NVIDIA의 젠슨황이 AI 데이터센터에 800V DC를 도입한다는 이야기를 자주하고 있다. 수 많은 전압 중에 왜 800V 이고 왜 DC인지 궁금했다. 현재 데이터센터의 서버들은 기본적으로 AC 전원이 공급되기 때문에 왜 DC가 중요한지 궁금했다.이에 대해 공부해보기 위해 자료를 정리했고, 영상으로 본다면 안될공학에서 매우 잘 설명해주고 있기에 영상도 추천한다.https://www.youtube.com/watch?v=ozj0cU8339o TL;DR AI GPU 랙의 전력 밀도가 Hopper 세대 약 40kW에서 Blackwell(GB200) 약 120kW, 2027년 Rubin Ultra "Kyber" 랙 600kW~1MW로 3년 만에 약 25배 폭증하면서, 기존 54V DC 랙 배전은 물리적 한.. 2026. 7. 4. AI DC 네트워크 구조의 기본 - Leaf Spine 구조에 대해 알아보자 AI DC 네트워크를 공부하면 우리가 알던 3계층(액세스–애그리게이션–코어)가 아닌 Leaf-Spine 구조만 나온다.Leaf Spine 이 무엇이고, AI DC 네트워크에서 왜 필요한지 정리해본다. 전통적인 네트워크옛날 데이터센터는 north-south(남북) 트래픽 중심이었다. 즉, 외부 사용자 → 서버 → 응답이라는 위아래 방향의 흐름이다. 전통적 3계층(액세스–애그리게이션–코어)은 바로 이걸 잘 처리하도록 설계되어 있었다.가상화가 본격화되면서, 그리고 MSA 아키텍처가 부상하면서 상황은 달라지기 시작했다.east-west(동서) 트래픽, 즉 서버 ↔ 서버 간 옆방향 통신이 폭증했다. 3계층 구조에서 서버 A가 서버 B와 통신하려면 트래픽이 액세스 → 애그리게이션 → (때로는 코어까지) → 다시 내.. 2026. 6. 27. RoCEv2 학습 개요AI 데이터센터 네트워크 기술에 대해 학습하고 있다. 그 중 새롭게 알게된 단어인 RoCEv2 기술에 대해 학습한 내용을 정리해보았다. 컴퓨팅 패러다임의 변화와 RDMA 기술의 부상 현대의 대규모 데이터센터는 인공지능 모델의 분산 학습, 고성능 컴퓨팅(HPC), 그리고 초저지연 스토리지 네트워크 환경으로 급격히 진화하고 있다. 수천 대의 GPU가 병렬로 연산을 수행하고 거대한 파라미터를 실시간으로 동기화하는 환경에서는, 네트워크 패브릭의 대역폭과 극단적인 저지연 성능이 전체 클러스터의 효율성을 결정짓는 핵심 병목이 된다. 전통적인 TCP/IP 스택은 CPU가 네트워크 패킷 처리를 전담하는 구조로, 통신 속도가 100Gbps를 넘어 400Gbps, 800Gbps로 진입하는 현대의 인프라에서 막대한 연산.. 2026. 6. 21. 이전 1 2 3 다음