如何评价 AMD Ryzen AI Halo ？

谢邀

如果时395的话，内存带宽是硬伤因为内存是256 位宽的LPDDR5x，对于llm来说那就是太小了。苏妈说Ryzen AI Max+ 395 比RTX 5080快 3 倍，那简直是胡扯了，目测只有3070的速度。

说到395的8060s算是老架构了用的RDNA3.5的架构，我去年双11买的时候还支持的不咋地，pytorch都要自己编译，什么都没有生态巨差。

不过就是今年上半年AMD算是小发力了一下，Pytorch和vllm也算能凑活在ROCM上用了，而395要跑大模型的话还是推荐llama.cpp，直接用valkan就可以，速度跟ROCM一样，现在应该算是可用状态了，我听说可以跑comfyui了，不过我没测试，估计这个速度页跑不了多快。

我这边自己跑了2个模型：

一个q6的Qwen3.6-35B-A3B 和一个q4的Qwen3.5-122B-A10B，因为可以超分显存，所以本来是可以跑Q8的Qwen3.6，但是不稳定所以我就懒得找原因了用q6正好，准度也不错。

那么说速度的话基本上是35B-A3B 不加MTP是30多tokens，加了MTP能上50+。

122B-A10B是每秒22左右，基本上这个水平的模型也能凑活用了，不过27B的dense模型是别想了Q8的话6tokens，Q4的话提高一倍12tokens，基本不能用。

所以这个最合适的就是跑MOE。激活在20B一下的模型理论上速度都可以接受。不过这个128G的显存优点尴尬，235B的模型Q4的话正好装不下，要是稍微长一点的上下文就要用Q3，但是Q3的量化损失太大，所以根本没法用。他要是再加个24G内存那应该是一个非常好的家用产品。

最后要是评价的话就是，目前能用，而且可以跑一些比较大的模型，而且性价比很高（对比 MAC M5和dxg spark），像我这样自己折腾在家跑点简单的服务还是可以的，养龙虾和开发的话不建议，还是有点慢。

我现在开发用DS，写好了harness，一天一个多亿的Token才几块钱，比自己在家折腾强多了。

最后，应该没人用这玩意玩游戏吧