16GB MacBook Air跑Gemma 4飙到25 tok/s！KV cache被压到3-bit，「本地AI」彻底炸了

Type: article
Author: 未知
Primary Topic: ai-foundations
Ingested: 2026-04-17

Summary

MacBook Air M4（16GB内存）本地运行Google Gemma 4大模型，通过将KV cache压缩到3-bit，推理速度达到25 tokens/秒。这标志着本地AI进入新阶段：无需云服务、无需API费用、消费级硬件即可运行大模型，推理速度达到实用级别。

Key Concepts

• 本地AI
• KV cache量化
• 3-bit压缩
• 推理优化
• 消费级硬件
• 离线部署

Entities

• MacBook Air
• M4
• Google
• Gemma 4

Source

• Raw: 20260417-macbook-air-gemma4-kv-cache.md

Relations

• used_in:MacBook Air M4
• supports:本地AI部署
• related_to:模型量化

---

Auto-generated on 2026-04-17