AI 서버는 왜 물로 식힐까? GPU 액체 냉각 원리 쉽게 이해하기

 

요즘 AI 서버 사진을 자세히 보면 조금 이상한 게 보인다. 서버에 굵은 호스가 연결돼 있고 그 안으로 액체가 흐른다.
 
컴퓨터와 물이라니. 둘은 가장 가까이 두면 안 되는 조합처럼 느껴지는데, 최신 AI 데이터센터에서는 오히려 액체를 이용해 서버를 식히는 기술이 점점 중요해지고 있다.
 
이유는 의외로 단순하다. GPU 성능이 엄청나게 높아지면서 발생하는 열도 감당하기 어려울 정도로 많아졌기 때문이다.
 
예전처럼 에어컨을 세게 틀고 팬을 돌리는 것만으로는 한계가 오기 시작했다. AI 시대에는 반도체 성능뿐 아니라 그 반도체에서 발생하는 열을 어떻게 빼낼 것인지까지 중요한 기술이 된 셈이다.

목차

1. AI 서버는 도대체 얼마나 뜨거울까?
2. 왜 바람 대신 액체를 사용할까?
3. GPU에 물을 붓는 건 아니다
4. 서버를 액체에 통째로 담그기도 한다
5. 액체 냉각이면 물을 엄청 쓰는 걸까?
6. AI 경쟁의 숨은 주인공은 냉각일지도 모른다

AI 서버는 도대체 얼마나 뜨거울까?

집에서 고사양 게임을 해본 사람이라면 컴퓨터에서 뜨거운 바람이 나오는 걸 느껴본 적이 있을 것이다.
 
게임용 그래픽카드 하나만 열심히 돌아가도 상당한 열이 발생한다. 그런데 AI 데이터센터에는 이런 GPU가 몇 개 수준이 아니라 수십 개씩 하나의 랙에 들어간다.
 
NVIDIA의 GB300 NVL72 시스템을 보면 72개의 Blackwell Ultra GPU가 하나의 랙에 구성되고, NVIDIA 문서 기준 전체 랙이 요구하는 전력은 최대 142kW에 달한다.
 
142kW가 어느 정도인지 감이 잘 안 올 수 있다. 2kW짜리 전기히터를 기준으로 단순 비교하면 약 71대를 동시에 켜놓은 전력 규모다.
 
물론 서버가 전기히터처럼 작동한다는 뜻은 아니다. 다만 서버가 소비한 전력의 상당 부분은 결국 열의 형태로 주변에 방출되므로 냉각 시스템 입장에서는 엄청난 열을 계속 밖으로 빼내야 한다.
 
AI 시대에는 GPU를 얼마나 많이 확보하느냐뿐 아니라 그 GPU를 얼마나 안정적으로 식힐 수 있느냐도 데이터센터의 중요한 문제가 된 것이다.

 

왜 바람 대신 액체를 사용할까?

기존 데이터센터의 대표적인 냉각 방식은 공랭이다.
 
쉽게 말하면 차가운 공기를 서버 앞으로 보내고 서버 내부의 팬이 그 공기를 빨아들인다. CPU와 GPU를 지나면서 뜨거워진 공기는 서버 뒤쪽으로 빠져나가고, 냉각 설비가 다시 열을 제거한다.
 
문제는 서버 한 곳에 고성능 GPU가 몰리면서 발생하는 열의 밀도가 크게 높아졌다는 점이다.
 
NVIDIA는 과거 데이터센터의 랙 전력 밀도를 약 20kW 수준으로 설명하면서 최근 하이퍼스케일 시설에서는 135kW를 넘는 랙도 지원한다고 밝힌 바 있다.
 
여기서 액체의 장점이 나온다.
 
같은 열을 옮기는 상황에서 액체는 공기보다 열을 효과적으로 전달할 수 있다. 그래서 뜨거운 칩 가까이에 냉각수를 보내 열을 직접 가져오는 방식이 가능하다.
 
자동차 엔진을 생각하면 이해하기 쉽다. 자동차 역시 엔진 앞에서 거대한 선풍기만 돌리는 게 아니라 냉각수를 순환시켜 엔진의 열을 이동시킨다.
 
AI 서버에서도 비슷한 변화가 일어나고 있는 셈이다.

GPU에 물을 붓는 건 아니다

액체 냉각이라고 하면 GPU 기판 위로 물이 졸졸 흐르는 모습을 상상하기 쉽다.
 
대표적인 방식인 Direct-to-Chip 냉각은 조금 다르다.
 
CPU나 GPU처럼 열이 많이 발생하는 부품 위에 콜드 플레이트(Cold Plate)라는 금속 구조물을 밀착시키고 그 내부로 냉각 유체를 흐르게 한다.
 
흐름을 단순하게 표현하면 이렇다.
 
GPU 발열 → 콜드 플레이트 → 냉각 유체 → 열교환기 → 외부로 열 배출
 
즉 냉각수가 일반적으로 GPU 전자회로에 직접 닿는 구조가 아니라, GPU와 맞닿은 금속판 내부를 흐르며 열을 가져가는 방식이다.
 
여기에는 CDU(Coolant Distribution Unit)라는 장치도 중요한 역할을 한다. 냉각 유체의 흐름과 온도를 관리하고 데이터센터의 냉각 설비와 서버 사이에서 열을 전달한다.
 
그렇다고 팬이 당장 사라지는 것은 아니다. 콜드 플레이트가 붙지 않은 메모리나 전원부 등 다른 부품의 열은 여전히 공기로 처리해야 할 수 있기 때문이다.
 
실제로 데이터센터 냉각 업체 Vertiv는 Direct-to-Chip 방식으로 랙에서 발생하는 열의 약 70~75%를 제거하고 나머지 25~30%는 공랭이 담당할 수 있다고 설명한다.
 
그래서 당분간은 ‘공랭 대 수랭’이 아니라 ‘공랭+수랭’ 형태의 데이터센터를 많이 볼 가능성이 크다.

반응형

서버를 액체에 통째로 담그기도 한다

여기서 한 단계 더 과감한 기술도 있다.
 
아예 서버를 액체 속에 넣어버리는 액침 냉각(Immersion Cooling)이다.
 
“컴퓨터를 액체에 담그면 바로 고장 나는 것 아닌가?”라는 생각부터 들지만 당연히 수돗물을 사용하는 것은 아니다.
 
전기가 잘 통하지 않는 절연성 냉각 유체를 사용해 서버 자체를 액체 속에 넣는다. 열이 발생하면 주변의 액체가 직접 열을 흡수한다.
 
더 재미있는 방식도 있다. 특정 액침 냉각 시스템에서는 서버의 열 때문에 냉각 유체가 끓는다.
 
Microsoft가 공개했던 2상 액침 냉각 실험에서는 전자장비에 안전한 특수 유체가 서버에서 발생한 열을 흡수하면서 낮은 온도에서 끓고, 증기가 위쪽의 응축기에서 다시 액체로 변해 떨어지는 폐쇄형 순환 구조를 사용했다.
 
서버가 액체를 끓이고, 그 액체가 다시 비처럼 서버 위로 떨어지는 셈이다.
 
SF 영화에 나올 법한 장면이지만 실제 데이터센터에서 연구되고 사용되는 냉각 기술이다.

액체 냉각이면 물을 엄청 쓰는 걸까?

여기서 헷갈리기 쉬운 부분이 하나 있다.
 
‘액체 냉각 데이터센터가 늘어난다’는 말을 듣고 서버에 계속 새 물을 공급한다고 생각하기 쉽지만 반드시 그런 것은 아니다.
 
냉각수를 폐쇄형 회로 안에서 반복해서 순환시키는 설계도 가능하다.
 
Microsoft는 최근 AI 데이터센터에 폐쇄형 액체 냉각 구조를 적용하고 있으며, 새로운 데이터센터 설계에서는 냉각수를 반복 순환시켜 냉각 과정에서 물을 증발시키지 않는 방식도 도입하고 있다고 설명한다.
 
그래서 ‘액체 냉각 = 물 사용량 증가’라고 단순하게 연결하면 실제 기술 구조를 놓칠 수 있다.
 
다만 데이터센터 전체의 물 사용량은 외부 열 배출 방식, 냉각탑 사용 여부, 지역 기후와 설계 등에 따라 달라질 수 있다.
 
이 부분은 AI 데이터센터가 늘어나면서 전력 문제와 함께 앞으로 계속 논쟁거리가 될 가능성이 높은 영역이다.

AI 경쟁의 숨은 주인공은 냉각일지도 모른다

AI 이야기를 하면 보통 NVIDIA GPU 성능이나 새로운 AI 모델부터 떠올린다.
 
그런데 기술을 조금 아래쪽까지 내려가서 보면 상당히 재미있다.
 
GPU가 빨라진다. 전력 소비가 늘어난다. 열이 많아진다. 기존 냉각 방식이 버티기 어려워진다. 결국 데이터센터의 전력 공급과 냉각 설비까지 바뀐다.
 
반도체 하나의 발전이 건물의 배관 구조까지 바꾸고 있는 셈이다.
 
개인적으로 이 부분이 AI 기술에서 꽤 흥미롭다. 우리는 화면에서 몇 초 만에 답변을 받아보지만, 그 답변 뒤에서는 엄청난 수의 GPU가 계산하고 있고 그 GPU의 열을 빼기 위해 냉각수가 쉼 없이 흐르고 있다.
 
앞으로 AI 성능 경쟁은 ‘누가 더 좋은 GPU를 만드느냐’뿐 아니라 ‘누가 더 많은 전력을 공급하고 그 열을 효율적으로 처리하느냐’의 경쟁이기도 하다.
 
AI가 발전할수록 오히려 전기, 물, 배관, 냉각 같은 아주 물리적인 기술의 중요성이 커진다는 점이 꽤 아이러니하고 재미있다.