解放HBM，美光发布SOCAMM2内存，单CPU可读取2TB容量

美光发布了新一代数据中心SOCAMM2内存，核心就是大容量，采用单片32Gb LPDDR5x DRAM颗粒，通过封装技术，单模块容量能达到256GB。

在常见的8通道服务器处理器架构中，相当于一颗CPU能够支持读取2TB的内存容量。

一年内，美光256GB SOCAMM2 模块的内容提升了一倍，和传统数据中心RDIMM内存相比，功耗更是降低了66%。

此外比竞争对手SK海力士的同类产品，容量高了33%。

SOCAMM（System-On-Chip Attached Memory Module）是美光与英伟达共同制定的一个内存标准。

传统的RDIMN内存垂直安装，离CPU较远。而SOCAMM水平安装，离CPU较近，采用堆叠式LPDDR内存设计。

由于模块位置和布局更加紧凑，SOCAMM能提供更大的内存容量和带宽。

那SOCAMM核心价值在哪儿呢？

SOCAMM比HBM容量更大，HBM放不了数据，它可以扩展存储。

举个例子，大模型中的KV Cache，用来存储之前生成token时产生的注意力键值数据，避免在后续继续生成token时再次计算，当上下文不断增长时，KV Cache的容量会巨大，这些数据就可以放在高容量SOCAMM内存之上，并在需要计算的时候调度到HBM计算，从而在保持性能的同时，扩展了HBM的容量限制。

以500K上下文为例，运行 Llama3 70B 模型，相比1.5TB容量的模块性能提升了2.3倍。

应用推动技术发展，技术赋能产品迭代！