가정용 NAS로 로컬 대형 모델을 돌리는 것은 한 대로 두 가지 일을 하는 이야기처럼 들립니다. 드라이브 베이에는 가족 사진과 영상이 들어가고, 같은 상자가 인터넷도 구독도 없이 그 자리에서 질문에 답합니다. 그러나 NAS의 본업은 스토리지이고, 심장은 대개 저소비전력 프로세서이며, 메모리와 연산도 절전 우선으로 설계됩니다. 진짜 장점과 상한을 나눠 본 뒤에야, 이 돈을 쓰는 것이 맞는지, NAS가 아니라 작은 PC에 써야 하는지 판단할 수 있습니다.
진짜 장점: 늘 켜져 있고, 조용하고, 데이터가 나가지 않는다
NAS의 가장 큰 강점은 원래 24시간 켜져 있다는 것입니다. 데스크톱은 켜져 있을 때만 모델을 돌리고, 노트북은 덮으면 잠들지만, NAS는 구석에서 일 년 내내 온라인이라 집 안 어떤 기기에서든 언제든 질문할 수 있습니다. 이 상시 대기가 로컬 모델에 가장 편안한 형태입니다. 소비전력과 소음도 NAS 편으로, 전체가 수십 와트급이 흔하고 팬 소리는 거실에 둘 수 있을 만큼 작습니다. 셋째는 데이터 경계입니다. 가족 앨범, 스캔한 증명서와 계약서, 사적인 문서는 원래 NAS 안에 있습니다. 같은 기계 위에서 모델이 읽게 하면, 한마디 질문하려고 파일을 클라우드에 올릴 필요가 없습니다. 개인정보에 민감하고 가벼운 질의응답이면 충분한 사람에게 이 세 가지는 실질적인 가치입니다.
사용 관문: 모델 크기는 먼저 메모리, 다음 칩으로 정해진다
로컬 모델의 용량은 주로 파라미터 수와 양자화 단계로 정해지고, 들어가는지는 먼저 메모리로 정해집니다. NAS에 흔한 4GB나 8GB는 운영체제와 스토리지 서비스와도 나눠 써야 해서 모델에 남는 여지가 적고, 가장 작은 모델이 겨우 돌며 긴 문맥을 열면 프로세스가 종료되기도 합니다. 16GB부터 여유가 생겨, 중간 크기 양자화 모델로 요약, 분류, 문서 질문을 돌릴 수 있습니다. 사기 전에 메모리를 늘릴 수 있는지 반드시 확인하세요. 납땜되어 있거나 슬롯이 하나뿐인 기종도 적지 않습니다. 그 위에 연산이 있습니다. 가정용 NAS 대부분은 제대로 된 그래픽 가속이 없어 추론이 프로세서에 의존하고, 속도는 초당 몇 단어에서 십수 단어 수준에 머물러 한 단락 답변에도 기다림이 붙습니다. 이 속도는 밤사이 사진에 태그를 달거나 문서를 묶어 요약하는 뒷단 일에 맞고, 온라인 서비스 같은 즉답은 기대할 수 없습니다.
사도 손해 보지 않는 세 부류
첫째는 애초에 장보기 목록에 NAS가 있던 사람입니다. 스토리지가 비용을 대고 로컬 모델은 덤이라는 마음가짐이 가장 건강합니다. 둘째는 가볍고 잦은 용도의 사람입니다. 문서 요약, 앨범 검색, 가족 지식 질문이 목적이고 속도에는 둔감하며 개인정보에는 민감한 사람입니다. 셋째는 만지는 과정 자체를 즐길 수 있는 사람입니다. 컨테이너 설치, 환경 조정, 양자화 모델 고르기를 받아들이고 집 안 실험실의 일부로 다루며 느림까지 즐길 수 있습니다.
값어치 없는 면도 드러내 놓고 보기
주 목적이 대형 모델과 시원하게 대화하거나 코드를 짜거나 긴 문서를 처리하는 것이라면 NAS는 실망을 줍니다. 같은 예산을 독립 그래픽이 있는 작은 PC에 더하면 추론 속도는 차원이 다릅니다. 숨은 계산도 있습니다. 모델을 돌리려고 고사양 NAS를 사는 추가 비용은 작은 PC를 따로 살 수 있을 만큼 되는 경우가 많고, 결과적으로 스토리지 성능은 별로 다르지 않은데 모델 경험만 저소비전력 칩에 끌려갑니다. 안정적인 조합은 분업입니다. NAS는 스토리지 본업으로 돌리고, 모델은 집에서 연산이 가장 강한 기기나 클라우드에 맡기고, NAS의 상시 가동과 조용함은 영상과 백업을 위해 남겨 두세요. 결론은 분명합니다. 스토리지를 위해 NAS를 사고 덤으로 작은 모델을 돌리는 것은 값어치가 있고, 큰 모델을 돌릴 목적으로 NAS를 사는 것은 값어치가 없습니다.
