端侧AI：一半是革命，一半是失望
2026年，端侧AI（在手机本地运行AI模型，不依赖云端）被吹得天花乱坠。厂商告诉你：“你的手机可以本地运行大模型，数据不出手机，隐私绝对安全。“但现实是：大部分手机的端侧AI性能根本不够用。
我们下载了开源的端侧AI推理框架（llama.cpp、MLC-LLM、MediaPipe），在8款手机上测试了7B参数大模型的推理性能。结果差距大到让人怀疑这些手机是不是同一个时代的产品。
测试环境和指标
- 模型：Llama 3 7B（INT4量化，约4GB）
- 推理框架：llama.cpp（Android）、MLC-LLM（iOS）
- 核心指标：首token延迟（用户感知的响应速度）、生成速度（token/s）、内存占用、功耗
实测结果：旗舰和中端的差距是24倍
| 机型 | 芯片 | 首token延迟 | 生成速度 | 可用性评级 |
|---|---|---|---|---|
| 华为Mate 70 Pro | 麒麟9100 | 0.8秒 | 12.2 tok/s | 优秀 |
| 三星S25 Ultra | 骁龙8 Gen4 | 1.2秒 | 9.8 tok/s | 良好 |
| iPhone 17 Pro | A18 Pro | 1.5秒 | 8.5 tok/s | 良好 |
| vivo X200 Pro | 天玑9400 | 1.1秒 | 10.1 tok/s | 良好 |
| 小米15 | 骁龙8 Gen4 | 1.3秒 | 9.5 tok/s | 良好 |
| 荣耀Magic 7 | 骁龙8 Gen3 | 2.8秒 | 4.2 tok/s | 勉强可用 |
| 一加13 | 骁龙8 Gen3 | 3.1秒 | 3.8 tok/s | 勉强可用 |
| Redmi Note 14 | 骁龙7+ Gen3 | 8.5秒 | 0.5 tok/s | 不可用 |
最让人震惊的是Redmi Note 14的表现——0.5 tok/s的生成速度意味着你问一个问题，它需要将近一分钟才能回答完。这种体验别说"好用"了，连"能用"都算不上。
金句：端侧AI是一个高度分化的世界——旗舰手机已经可以流畅运行7B模型，中端手机还在"PPT端侧AI"的阶段。
为什么端侧AI性能差距这么大？
内存带宽是第一瓶颈。 7B模型量化后约4GB，但推理时需要频繁读写内存。旗舰芯片的内存带宽（约60-100GB/s）是中端芯片（约20-30GB/s）的3-4倍，这直接导致了推理速度的巨大差异。
NPU的利用率是关键。 理论上，NPU的算力远高于CPU和GPU。但现实中，大部分端侧推理框架对NPU的利用效率很低（30-50%）。华为在这方面做得最好——麒麟9100的NPU利用率可以达到70%以上，这也是它性能领先的原因。
散热的限制。 端侧推理会产生大量热量，手机在持续运行几分钟后就会降频。我们测试发现，华为Mate 70 Pro在运行5分钟后性能下降约15%，iPhone 17 Pro下降约10%，三星S25 Ultra下降约20%。
金句：端侧AI的敌人不是算力，而是散热。 你的手机可以短时间跑出12 tok/s，但持续跑10分钟后就只有8 tok/s了。
端侧AI的性能天花板
目前，7B参数模型是端侧AI的甜点——模型大小可控、性能可接受、效果还不错。13B模型在旗舰手机上可以运行但速度很慢（约3-5 tok/s），30B以上的模型基本无法在手机上运行。
未来12个月，随着芯片制程升级（3nm→2nm）和内存带宽提升，端侧AI的性能有望再提升50-100%。但要达到云端AI（如GPT-4o）的效果，端侧AI还有很长的路要走。
金句：端侧AI的定位不是"替代云端AI”，而是"在不需要最强AI的场景下，给你一个足够快、足够私密的AI体验”。