RTX5060Ti大模型部署踩坑记

声明：个人经验总结，目的是做个记录，同时给有缘人一些提示，但不一定适用每一个人。如有问题请在评论区说明，但是请不要一上来就人身攻击，喜欢争辩的请划走，各自安好。

2026年5月6日：由于个别人喜欢问为什么这么做，这种无意义问题看着影响心情，已限制评论，觉得有用就看，没用请划走！各自都别影响对方！寡人只做笔记，又不是来写水文刷流量的！文章发布的日期是 2026年3月29日，大模型技术发展迅速，几乎一个月一个突破，不要用最新的状态去评价几个月前的消息！每个人的决策都有他的背景因素，不要只在自己的角度去质疑别人！你要是有方案就自己去写笔记分享，不想分享就别影响别人！

中国目前有十四亿人，哪怕你是万里挑一也有十四万！

手痒，没忍住弄了张 RTX5060Ti 16G的显卡。在此之前已经做了很多工作，包括机箱尺寸、主板接口、电源功率、驱动安装。我想着再怎么坑也就这些了吧？显卡到了以后，我按照预计划装机，小坑肯定是有的，但是稍微折腾几下都过去了。麻烦的是软件，除了驱动，最坑爹的还是 torch 环境。我没想到这张发布了整整一年的显卡，它的 python 软件环境居然如此尴尬！

先讲一下系统环境：

• 操作系统：Windows11 家庭版 64位
• CPU：酷睿 i7-14700
• python环境：python 3.10.9
• 升级前显卡：RTX3050 6G
• 升级前 torch环境：pytorch version: 2.6.0+cu126
• 升级后显卡：RTX5060Ti 16G

一、问题1：设备管理器看不到显卡设备。

解决方法：使用 NVIDA App 安装最新驱动。

1、下载 NVIDIA App

登录 NVIDIA 官网，找到 NVIDIA App

建议不要直接点击“立即下载”按钮，那样会在浏览器下载，如果网络不稳定会无法续传。右击“立即下载”按钮，选择“复制链接”然后使用迅雷下载。

http://weixin.qq.com/q/024md4YuSadLl10000g07C (二维码自动识别)

也可以直接复制下面的下载链接（官网链接，不保证后续链接也能用，现在是2026年3月）：

如果下载速度为 0 ，可以尝试使用其它手机建立热点。比如我这里电信的下载速度为 0，移动的 5MB/s，几十秒就下载好了。

网速非常 nice，不到一分钟就下载完毕了。

2、安装 NVIDIA App

• 步骤1：以管理员身份运行安装程序。

• 步骤2：按照提示操作即可。

点击“升级”。

又到了经典的许可协议确认步骤，点击“同意并安装”，不点肯定是安装不了的。

耐心等待安装完毕。

3、安装驱动程序。

现在的驱动安装还是很方便的，点击左侧的“驱动程序”，可以看到正在下载，耐心等待下载完成。

下载完毕，点击“安装”。

这里如果不是很了解，建议选择“快速安装”，主要是省事。

接着屏幕可能会黑屏一下，显卡风扇停止转动，此时耐心等待即可，几分钟后就会恢复，桌面分辨率变低。同时可以在设备管理器中看到新显卡型号了，只不过带一个感叹号，他告诉用户设备通信正常，只是驱动还没装好。

选择“自定义安装”，勾选“全新安装”，这样可以清理旧驱动，避免冲突，让新显卡发挥最佳性能，同时也可以兼容 RTX3050。

接下来就是考验耐心的时候了，安装过程屏幕可能会出现闪烁，不要慌，静静等待安装结束，可以去忙点别的事情。唯一需要注意的就是确保电源可靠工作。

这一步之后显示分辨率就恢复了！

接下来需要做一个小小的决策，两种安装方式显卡都可以正常工作，只不过侧重点不一样。NVIDIA 官方已经在按钮上给了简洁的建议，如果用来玩游戏那么就选“Game Ready 驱动程序”，如果用来做开发就选“NVIDIA Studio 驱动程序”。我认为大模型部署也算是一种开发吧，那么就选择第二种“NVIDIA Studio 驱动程序”吧。

做好决定后点击“下一步”。

耐心等待安装完毕，最后点击“完成”。如果想改变主意，也可以点击左下角的“上一步”进行修改。

至此，整个显卡驱动程序安装完毕，点击右下角的“关闭”结束。

4、确认显卡状态。

• 用 dxdiag 命令查看显卡状态：型号、显存、驱动都正常。

设备管理的显卡型号左侧的感叹号也消失了。

在任务管理器“性能”标签页可以看到显卡的工作状态，非常 nice。

使用 nvidia-smi 命令查看 CUDA 环境具体信息，显卡型号、显存、功率等状态准确识别。

5、重启电脑确认驱动完全生效。

此时 Ollama 应当可以正常加载模型了，但是像 ComfyUI 这种依赖于 python 环境的应用就比较头疼了，torch 环境需要全部重新安装！

二、问题2：torch 环境和 cuda 不兼容。

虽然识别到 RTX5060Ti的显卡型号，但是提示当前 PyTorch 环境不支持 sm_120 ！

整个过程非常复杂，这里就不详细记录了，免得信息量过杂反而显得太乱。

1、直接说结论：

1）RTX5060Ti 到目前位置还是比较新的，需要支持 sm_120 指令，但是支持 sm_120 的 cuda 库不一定能够兼容 ComfyUI。比如我尝试下载并安装 nightly 版本的 torch-2.11.0.dev20260125+cu128-cp310-cp310-win_amd64.whl，虽然能够测试显示支持 sm_120 ，但是 ComfyUI 依然会出现显存加载问题。

2）python 的 cuda 需要 cu130 才能满足，而且 torch、torchvision、torchaudio 需要自己手动适配。我摸索了好久才找到合适的版本，就是下面三个 whl 包：

torch-2.9.1+cu130-cp310-cp310-win_amd64.whl
torchvision-0.24.1+cu130-cp310-cp310-win_amd64.whl
torchaudio-2.9.1+cu130-cp310-cp310-win_amd64.whl

3）不要使用 pip install torch 直接安装，很容易给你装 cpu 版本的，导致 cuda 不可用。我才用的是先下载核心 whl 文件，然后再安装，为了避免网络不稳定导致安装失败，我一般会使用国内镜像（比如阿里源、清华源等）。

pip install -i https://mirrors.aliyun.com/pypi/simple/ torch-2.9.1+cu130-cp310-cp310-win_amd64.whl torchvision-0.24.1+cu130-cp310-cp310-win_amd64.whl torchaudio-2.9.1+cu130-cp310-cp310-win_amd64.whl

• -i 参数指定镜像源路径，这里选择的是清华源
• 后面三个 whl 文件要制定距离路径，我这里是命令行已经处于 whl 目录了。

2、torch 安装包下载。

进入 pytorch 下载站点，找到合适的版本，这里我选择的是 cu130，就是下面这个链接（随着时间的推移可能会变化）：

在页面中找到需要的软件包，点击即可进入，这里需要用到 torch、torchaudio、torchvision。

在每一个软件包下面会有很多个版本，对于 windows 11 而言通常选择 win_amd64 结尾的。由于 torch 的 cuda 版本非常大，有 2.5G之多，为了避免网络不稳定导致下载失败，建议复制下载链接到迅雷等 P2P 工具，实现断点续传。操作很简单，只需要右击需要下载的资源，然后在弹出的列表选择“复制链接”，接着将其粘贴到 P2P 工具的下载链接区域即可。

这里的 torch、torchaudio、torchvision 也存在依赖问题，以 torch 为主，如果出现其它两个依赖不匹配的情况，可以根据提示降低或者提高其它两个包的版本。

下载完成后，使用 pip install xxx.whl 安装即可。由于还存在其它依赖，在安装过程中 pip 会自动从网上下载，为了避免默认镜像的网络问题导致安装失败，建议添加 -i 参数指定国内各镜像。

3、检查 torch 版本和 cuda 适配的方法

• 脚本1：检测当前 torch 环境支持的架构，它会打印当前环境支持的架构：

import torch
print(f"CUDA Available: {torch.cuda.is_available()}")
if torch.cuda.is_available():
    print(f"GPU Name: {torch.cuda.get_device_name(0)}")
    print(f"Arch List: {torch.cuda.get_arch_list()}")
    # 重点看这里有没有 'sm_120'

成功后可以在 Arch List 看到 sm_120 。

• 脚本2：检测当前 torch 环境是否支持 cuda（即显卡模式），这个可以直接复制在 PowerShell 命令函（cmd 命令不支持换行，用不了，可以保存为 .py 文件然后执行）。

python -c “import torch
print(torch.__version__)
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))
print(torch.cuda.get_device_capability(0))”

这是失败的情形：一个大大的 False 加一堆凡人的错误提示。

这是成功的情形：一个漂亮的 True 加两行简洁的显卡信息。

经过几天的煎熬，ComfyUI 终于成功加载并推理模型了！

久违的 wan2.1 视频终于重现了！