重磅！苹果 M 芯片全系 LLM 性能排行榜

昨天 Apple 发布了新款 M5 芯片全系 (除了 Ultra) ，趁着热乎劲儿，今天跟大家理性捋一下本地 LLM 部署，该如何选 Mac。

M5 系列使用 3nm 制程，优势明显，在每个 GPU 加了矩阵计算单元，LLM 推理 prefill 阶段对比 M4 提速 大概 3 到 4倍。但是 Decode 阶段速度只有大概 1.3 倍左右提速 (等级森严，不至于越阶碾压)。M5 系列要评价的话：加量也加价 (低配 m5 pro 直接 1T 起)，我等等党誓守 M6 换 2mn 制程。

先上结论，具体表格数据往后看：

只需要少数几轮对话：选 pro 芯片（弃坑 m3 pro， 带宽拉胯，还不如 m1 pro 和 m2 pro）起，内存至少 16GB，随便玩一玩 AI 的话选 M2 芯片起。

需要多轮次对话，以 20k 上下文为准，等待时间 30 秒以内：至少要选 Max 芯片，如果需要跑 32B 的模型，至少 32 GB 内存起步。

如果真要靠 LLM 干点生产力的活：至少 64GB 内存起步，可以放进 80B Q4 模型。目前 M1 ultra 64GB (64 核 GPU 版本最好，48 核版本跟 AMD AI Max + 395 相当) 最具性价比没有之一 Best Mac for LLM[1] (目前闲鱼在 1.2 万上下，但是有涨势) ，800 GB/s 带宽的 plddr5 就真的 “Only Apple Can Do”。另外一款 M1 Max (32 核 GPU) 性价比也是很好，完全不输 M2 Max。

下面以 Llama 7B 模型为例，Q8 和 Q4 量化下，基于 llama.cpp 推理对比各个 Mac 版本在 prefill 和 decode 的速度。柱状图越高越好。欢迎大家在评论区分享自己的 Mac 推理速度。

Apple Mac 全系 Decode 速度对比 (最重要的)

整体看来，采用 Q4 量化会比 Q8 量化有 1.5 到 2 倍提速

这里提一下，这里的表现都是基于 llama.cpp，如果采用果子的 mlx 框架模型，速度会有 7% 到 10% 的提速。顺便提一个 m3 pro 这个坑，由于果子砍了内存带宽 (200GB/s 砍到 150GB/s)，导致 Decode 速度甚至不如 m1 pro 和 m2 pro。

Apple Mac 全系 Prefill 速度对比 (长上下文)

因为 LLM 每次回答你的问题要把之前跟你的聊天记录都读一遍 (上下文)，随着问答轮次增加，LLM 思考的时间明显增长，从而影响整体回答问题的速度。因此这个指标对于多轮对话是重要的。

这里解释下，用户跟 AI 交互的两个阶段：prefill 是 LLM 处理用户输入，反应 AI 听你说话脑子理解的速度；decode 是 LLM 向用户输出，反应 AI 回答你问题的速度。

根据这篇论文 So much to read, so little time: How do we read, and can speed reading help?, Psychological Science in the Public Interest 17.1 (2016): 4-34.[2] 研究显示，人类阅读英文每秒在 4 到 11 个单词范围内，中文大概在 6 到 18 个单词。那么，根据这个分分析，选定 LLM 模型之后，你要购买的机器要支持在每秒 20 tokens 的 decode 速度，否则就无法满足个人需求。

当然模型的选择也重要，介于篇幅，我们以后再谈怎么选模型。今天主要关注怎么选 mac。

整个数据表格 (包含 F16, Q8, Q4 量化下 Llama 7B 模型的表现)

带 * 号的数据是根据 M4 和 M5 数据对比的比率估计的。参考链接 Llama.cpp M 芯片 LLM[3]

欢迎大家测试一下自己的 Mac 的 LLM 表现，打在留言区👇🏻，
格式: Mac + 框架 + 模型 + 量化 + Prefill + Decode

比如我的测试：m1 ultra (64核 GPU) + mlx + Qwen3-Coder-Next 80B-A3B + int4 + 未知 + 40 tokens/s

引用链接

[1] Best Mac for LLM: https://ai.oldpan.me/t/topic/467
[2] So much to read, so little time: How do we read, and can speed reading help?, _Psychological Science in the Public Interest_ 17.1 (2016): 4-34.: https://scholar.google.com/scholar_url?url=https://journals.sagepub.com/doi/abs/10.1177/1529100615623267&hl=en&sa=T&oi=gsb&ct=res&cd=0&d=17910175235598534089&ei=dPanabbrMs-NieoPi7X7-A4&scisig=AFtJQiwfvPBZorbjwIIoB9ZlmNWi
[3] Llama.cpp M 芯片 LLM: https://github.com/ggml-org/llama.cpp/discussions/4167