ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 하드웨어
로컬 LLM용 중고 그래픽카드, 살 만할까? VRAM은 매력적이지만 무보증은 현실

로컬 LLM용 중고 그래픽카드, 살 만할까? VRAM은 매력적이지만 무보증은 현실

AI 하드웨어 • Admin • • 3 회 조회

중고 그래픽카드는 로컬로 대형 모델을 돌리는 사람이라면 피하기 어려운 주제입니다. 같은 돈이라도 중고 시장에서는 보통 VRAM이 한 등급 더 큰 카드를 살 수 있고, VRAM이야말로 돌릴 수 있는 모델의 크기를 정합니다. 다만 보증이 없고 상태는 판매자 설명에 의존합니다. 득템과 지뢰는 검수 한 번 차이인 경우가 많습니다. 가치가 어디에 있는지, 함정이 어디에 있는지, 어떻게 검수하는지로 나눠 보겠습니다.

진짜 판매 포인트는 하나: VRAM 가성비

로컬 추론은 VRAM을 많이 먹는 부하입니다. 전형적인 중고 인기 모델 RTX 3090을 예로 들면, 24GB VRAM에 32B급 4비트 양자화 모델을 카드 한 장에 통째로 올릴 수 있습니다. 비슷한 가격의 신품은 보통 12GB에서 16GB라 더 작은 모델만 올리거나, 일부 연산을 메모리로 넘겨 속도가 눈에 띄게 떨어집니다. '모델이 애초에 올라가는가'라는 단단한 문제에 대해 중고 구형 플래그십의 신품 대체재는 아직 없습니다. 먼저 VRAM으로 수요를 나누세요.

목표VRAM 문턱중고 단골 선택참고
7B–14B 양자화 모델 실행12GBRTX 3060 12GB신품도 커버 가능, 중고 이점이 작음
32B 양자화 모델 실행24GBRTX 3090중고 가성비가 가장 높은 구간
70B 양자화 모델 실행48GB(듀얼)RTX 3090 두 장전원, 메인보드 슬롯, 발열을 전부 다시 계산

사용 문턱을 먼저 계산

3090 세대는 소비 전력이 350W 안팎이라 오래된 파워로는 감당이 안 되고 케이스 냉각도 따라가야 합니다. 카드가 길고 두꺼워 작은 케이스에는 들어가지 않습니다. 추론을 풀부하로 장기간 돌리면 팬과 전원부의 마모가 게임보다 지속적이고, 소음과 전기요금은 장기 비용입니다. 구형 카드는 최신 영상 코덱과 일부 신기능도 지원하지 않으니, 편집이나 신작 게임과 겸할 생각이라면 그만큼 기대를 낮춰야 합니다.

값어치가 떨어지는 지점도 숨기지 않기

가장 큰 위험은 채굴 카드와 리퍼 카드입니다. 장기간 풀부하로 채굴한 카드는 VRAM과 전원부의 노화를 비전문가가 알아보기 어렵고, 판매자의 '개인 사용'이라는 말은 반증할 수 없습니다. 다음은 무보증 문제입니다. 신품의 3년 보증이 떠안는 위험의 대가는 중고 가격에서 빼야 하며, 중고가가 신품보다 2할밖에 싸지 않다면 그 거래는 이득이 아닙니다. 되팔기 문제도 있습니다. 구형 플래그십의 다음 구매자 풀이 줄고 있어, 사기는 쉬워도 팔기는 장담 못 합니다.

누가 사고, 어떻게 검수할까

24GB 구간의 모델을 돌리겠다고 정했고, 하드웨어를 알며 손보는 것을 감수할 수 있는 사람에게 중고 3090 구간은 여전히 값어치가 있습니다. 완전 초보자, 사후 처리가 걱정되는 사람, 로컬 모델을 체험만 해 보고 싶은 사람은 중고를 피하고 VRAM이 충분한 신품을 사는 편이 마음 편합니다.

검수는 네 가지만 잡으세요. 판매자에게 온도와 VRAM 점유율이 보이는 연속 스트레스 테스트 영상을 요구할 것. 제조 연월과 보증 스티커가 온전한지 확인할 것. 도착하면 VRAM 전량 테스트 도구로 오류를 스캔할 것. 거래는 검수와 반품 보장이 있는 플랫폼 채널로만 하고 플랫폼 밖에서 송금하지 말 것. 이 네 단계를 하면 지뢰 확률은 크게 낮아지지만 0이 되지는 않습니다. 그만큼이 바로 중고 가격 할인분의 정체입니다.

추천 도구

더보기