AI 컴퓨팅
칩을 샀다고 바로 돌아가는 것은 아닙니다. 데이터센터가 계통 연계 순번을 기다리고 전력이 따라오지 않으면 GPU는 랙에서 전기를 기다릴 뿐입니다. 병목은 공정과 VRAM에서 변전소와 청구서로 옮겨 갔습니다.
연산 자원의 병목은 칩에서 전력으로 옮겨가고 있습니다. 계통 연계 대기, 변압기 납기, 전기요금 계약이 데이터센터를 해 단위로 지연시킵니다. 공급 측에서는 Modal 같은 서버리스 플랫폼이 GPU를 초당 과금으로 제공하고 추론·미세조정·배치를 같은 추상으로 다룹니다. 수요 측에서는 추론 모델 확산 후 보이지 않는 reasoning tokens가 예산을 잡아먹는 일이 잦아졌습니다.
