想攒一台工作站跑AI，包括训练和推理，需要配置什么样的显卡？
先明确一个核心原则：”显存”比”算力”更重要
选 AI 训练/推理显卡，最容易踩的坑是只看算力参数、忽略显存容量——模型加载不进显存，算力再高也跑不起来。所以整个选型逻辑应该是：先看你要跑多大的模型，倒推显存需求，再在满足显存的前提下比性价比。
一、训练和推理，需求本质不同
| 维度 | 推理 | 训练 |
|---|---|---|
| 显存占用 | 模型权重 + 少量激活值，可量化压缩 | 权重 + 梯度 + 优化器状态，通常是推理的 3-4 倍 |
| 精度要求 | 可以用 INT8/INT4 量化大幅降显存 | 全参数训练通常需要 FP16/BF16，显存压力大 |
| 多卡需求 | 中小模型单卡基本够用 | 大模型/全参数微调经常需要多卡并行 |
一个直观参考：7B 模型 FP16 推理大约需要 14GB 显存，全参数训练大约需要 60GB+；如果用 LoRA 这类轻量微调方法，显存需求会大幅下降，24GB 显存基本就能微调 7B-13B 模型。如果你主要是微调/推理而不是从零训练大模型，不需要一步到位买最贵的卡。
二、按预算和模型规模分档推荐
入门/中小模型（7B-14B 推理，轻量微调）
- RTX 4090（24GB，二手价已经比较亲民）或 RTX 5070 Ti（16GB）
- 性价比区间，够日常推理和 LoRA 微调用
主力/中大模型（14B-34B 推理，7B-13B 全参数训练）
- RTX 5090（32GB GDDR7，带宽 1.8TB/s，比 4090 快 25%-35%）是目前消费级天花板，支持新一代 FP4 精度，Blackwell 架构对未来量化方案兼容性更好
- 但要注意：575W 的 TDP 对机箱散热和电源是硬性门槛，普通工作站机箱可能需要改风道，装机前先确认散热能压得住
企业/专业场景（70B+ 模型、7×24 稳定推理、多卡协同）
- RTX 6000 Ada / RTX PRO 6000（48GB 起步，ECC 显存，专业驱动稳定性更好）
- 这类卡的优势不在算力峰值，而在大显存 + ECC 纠错 + 稳定性，适合需要长时间不间断跑的生产环境，消费卡在这种场景下容易出现显存报错或驱动不稳定的问题
- 真正的千亿参数级训练已经超出单机工作站范畴，需要 H100/H200 这类数据中心卡，但这个量级通常直接上云或用专用 GPU 服务器，不建议自己攒机
三、几个容易忽略但很关键的点
多卡互联方式：如果打算上多张卡做并行训练，注意 RTX 5090⁄4090 这类消费级显卡不支持 NVLink，卡间通信只能走 PCIe，如果主板 PCIe 通道数不够（比如两张卡共享带宽降到 x8），多卡训练效率会明显打折扣。真正需要高效多卡互联的话，得上支持 NVLink 的专业卡，这也是消费卡和专业卡最本质的分界线之一。
CUDA/驱动生态：目前主流大模型训练框架（PyTorch、DeepSpeed 等）基本都是围绕 N 卡 CUDA 生态构建的，AMD 卡虽然价格有优势、显存带宽有时更高，但训练场景的兼容性和踩坑概率明显更高，除非你对 ROCm 生态很熟，否则不建议新手选 A 卡做训练。
别忽视 CPU 和内存：显卡是主角，但数据预处理、DataLoader 这些环节吃 CPU 和内存带宽，尤其大批量数据加载场景，CPU 核心数不够会拖累 GPU 利用率跑不满；内存建议至少是显存容量的 2 倍，避免中间数据交换成为瓶颈。
四、如果预算充足但想留升级空间
如果你计划以后模型规模会持续增长，或者团队要多人共用这台设备做训练/推理，有两个方向可以考虑：
- 直接一步到位上专业卡（RTX 6000 Ada 级别），大显存留足冗余，避免半年后又要换卡
- 走资源池化的思路：买一台支持多卡的服务器，通过 vGPU 虚拟化把一张卡的算力和显存切分给多个用户/任务按需使用，而不是一人一卡固定绑死。这种思路更适合团队场景——比如朵拉云这类厂商在 vGPU 工作站虚拟化上有现成的方案，能把 GPU 资源按需分配给不同任务，用不上的时候不浪费。如果你这台机器不是单人专用，值得了解一下这个方向。
小结
- 先确定模型规模和”训练 vs 推理”，倒推显存需求，别被算力参数迷惑
- 7B-14B 推理/轻量微调：RTX 4090⁄5070 Ti 够用；14B-34B 或全参数训练：RTX 5090；企业级稳定生产：RTX 6000 Ada 起步
- 多卡并行注意 PCIe 带宽和 NVLink 支持情况，消费卡多卡效率有天花板
- 散热和电源要按显卡 TDP 留足余量，尤其是 RTX 5090 这类 575W 级别的卡