대형 모델을 로컬로 돌리려면 VRAM은 얼마나 필요할까? 8GB·16GB·24GB로 무엇을 돌릴 수 있나
대형 모델을 로컬로 돌릴 때 그래픽카드 VRAM이 충분한지는 모델을 다운로드하기도 전에 체감 상한을 정해 버리는 경우가 많습니다. 연산 성능만 보다가 모델이 들어가지 않거나, 들어가도 짧은 컨텍스트만 쓸 수 있다는 사실을 뒤늦게 깨닫는 사람이 적지 않습니다. VRAM은...
대형 모델을 로컬로 돌릴 때 그래픽카드 VRAM이 충분한지는 모델을 다운로드하기도 전에 체감 상한을 정해 버리는 경우가 많습니다. 연산 성능만 보다가 모델이 들어가지 않거나, 들어가도 짧은 컨텍스트만 쓸 수 있다는 사실을 뒤늦게 깨닫는 사람이 적지 않습니다. VRAM은...
스마트 링을 살지는 'AI'라는 간판이 아니라, 장기 건강 기록 장치로 쓸 수 있는지로 판단해야 한다. 먼저 결론부터 말하겠다. 시계를 차고 잘 수 없는 사람, 삼성 생태계에 깊이 들어와 있는 사람, 건강 변화를 몇 년씩 추적하고 싶은 사람에게는 링이 진짜 값어치가 있...
AI 반려동물 카메라가 살 만한지 여부는 하나의 질문에 답하면 알 수 있다. 집에 아무도 없을 때 반려동물의 모습을 정말로 확인해야 하는가, 아니면 그저 신기해서인가? 전자라면——반려동물이 오랜 시간 혼자 있고 이상한 소리나 이상 행동을 바로 알고 싶다면 진지하게 고려...
AI 스마트 스피커를 살 만한가. 답은 스펙표가 아니라 당신의 거실에 있다. 노부모나 어린 자녀가 있는 집, 혹은 이미 스마트홈 기기를 몇 개 갖고 있다면 가족이 가장 자주 쓰는 AI 기기가 된다. 혼자 살면서 프라이버시에 민감하거나, 주로 음악 감상이 목적이라면 그 ...
AI 데스크 컴패니언 로봇에 대해 결론부터 말하자면, 사는 게 "감성적 가치"라면 살 만하고, "지능"이라면 살 가치가 없다. LivingAI의 EMO(공식 스토어 표준판 약 279달러)와 Energize Lab의 Eilik(약 140달러)은 시장에서 가장 대표적인 두...
AI 학습 태블릿, 살 만할까. 먼저 결론부터 분명히 하자. 이것은 점수를 올려주는 마법의 도구가 아니라 '학습 플래너'다. 초등학교 고학년부터 중학생 자녀가 스스로 학습 리듬을 관리하지 못하고, 부모도 계획을 세워줄 시간이나 노하우가 없다면, 값을 할 가능성이 크다....
AI 안경, 살 만한가? 결론부터 말하자. 스마트폰 카메라나 이어폰을 대체하길 기대한다면, 살 이유가 없다. Vlog 크리에이터, 해외여행이 잦은 사람, 자전거 통근자에게는 현재 가장 실용적인 '몸에 다는 카메라' 형태다. AI 안경이 진짜로 해결하는 문제는 하나다. ...
AI 스마트 녹음기는 지난 2년간 몇 안 되는 '진짜로 팔린' AI 하드웨어다. 파는 것은 스펙이 아니라 '회의가 끝난 뒤 직접 회의록을 정리하지 않아도 되는' 경험이다. 살 만한 가치가 있는지는 한 달에 몇 시간의 대면 대화를 텍스트로 바꿔야 하는지에 거의 전적으로 ...