AI 하드웨어와 온디바이스
전용 추론 칩, 포켓 크기 기기, 스마트폰과 PC의 온디바이스 모델 등 AI가 클라우드에서 기기로 옮겨가는 흐름을 쫓고 오프라인 추론의 이점도 정리합니다.
모델이 작아지며 하드웨어 경쟁이 치열해집니다. 한쪽에는 대화 관문을 스마트폰에서 옮기려는 포켓 기기가 있고, 다른 한쪽에는 스마트폰·PC·로봇의 온디바이스 추론이 있습니다. 전용 칩으로 지연을 수십 밀리초로 줄이고 데이터를 밖으로 보내지 않습니다. 실제 모델 크기는 발열·배터리·메모리 대역폭이 정하며, 온디바이스 성능이 과장되는 이유입니다. 이 태그는 실제 제품과 오프라인 추론의 이득을 다룹니다.