AI 硬件与端侧

模型越做越小，硬件就开始争这块新地盘。一端是口袋里的专用终端，试图把对话入口从手机上挪走；另一端是手机、PC 和机器人里的端侧推理，靠专用芯片把延迟压到几十毫秒，同时让数据不出设备。散热、续航和内存带宽决定了能跑多大的模型，这也是端侧能力常被高估的原因。这些产品的实际形态，以及离线推理在隐私与成本上的收益，值得观察。