如何评价 Surface Laptop Ultra?
我来讨论一下本地AI的可能性。
先贴两张图,是我自己的两个设备跑Qwen 3.6 35B A3B Q4_K_XL的结果.


一个64t/s,一个53t/s。根据网络上的测评,M5 Max的速度在100t/s出头。
MTP对于非M5 Max或者CPU混合MOE是负优化,我没有开,但是对GB10这种算力更大的是正优化。
根据网上GB10的评测,单机单请求场景下,Qwen 3.6 35B A3B 的速度差异非常大,60t/s到90t/s的结果都有。这取决于是否正确的开启了MTP、量化方法、量化工具、推理引擎、单请求/多请求、context大小等等一大堆参数。GB10最佳的组合实际上要用vllm + NVFP4量化,是可以跑到110t/s的,llama.cpp是不行的。
然而这一套下来学习成本比别的平台高太多了。Mac平台就不说了,lm studio/ollama现在都有mlx和llama.cpp两个引擎,教程满天飞,能不能跑下载下来试一试就知道。Intel和AMD平台,本身专有工具链是一坨,直接用Vulkan跑,不需要任何软件部署。而vllm这种引擎,教程少,跑新模型也要追主分支代码,GB10更是没有预编译文件,要自己编译,还是个Linux专用的引擎。
这还是DGX Spark的原版GB10, 这个笔记本的N1X, 不仅有官方砍频率和过热降频,还有Windows套WSL跑CUDA的问题,我不知道到时候端上来的WSL能否像Linux系统一样以相同的效率去运行。
目前二手M1Max 64G价格在万元左右,M2 Max 64G在1.3-1.5万之间,M3 Max 128G在2万左右,如果这一批N1X设备的价格64G内存高于2万,96G内存高于2.5万,128G内存高于3万,那基本上属于没有购买价值。(128G DDR5内存的零售价目前在9000元,最便宜时大约为2500元,LPDDR5内存应该相差不大)
因为这个机器除了跑AI,其他99%都不如Panther Lake,Windows on ARM更是价值为负的存在(虽然兼容性已经很好了,但X86版本兼容性更好,对比之下就是负价值)。而如果价格不行,或者软件优化拉胯了跑不到100t/s,那么在M1 Max的内存带宽都比它高的情况下,二手价格更是碾压,这就完全没有市场价值。