2026-04-17 AI扫盲系列——3080 20G魔改卡本地大模型的“甜点”之选

llamarun() {  
   llama-server -m "$1" --host 0.0.0.0 --port 8080 -ngl 999 -b 512 --batch-size 512 --threads 16 --threads-batch 8 --rope-scaling none --mlock --no-mmap --temp 0.5 --repeat-penalty 1.1 --top-k 40 --top-p 0.95 -c 20480  
}
封装一下

你将参加一个逻辑与推理能力测试。

规则：

1. 一共有20题
2. 每题只需要给出最终答案
3. 不需要解释过程
4. 按题号依次回答
5. 每个答案单独一行
6. 不要输出任何额外内容

例如：

1. xxx
2. xxx

开始测试：

1. 9.11 和 9.9 哪个大
2. 一只蜗牛每天爬3米，晚上掉2米，10米深井需要几天爬出来
3. A比B高，B比C高，谁最高
4. 鸡兔同笼，头10个，脚28只，鸡多少只
5. 1公斤棉花和1公斤铁谁更重
6. A有3个苹果，B拿走1个，C又给A2个，现在A有多少
7. 5个人5分钟做5个零件，100个人100分钟做多少个零件
8. 如果昨天是明天的前一天，今天星期几
9. 有3个开关控制3个灯泡，只能进入房间一次，如何确定哪个开关控制哪个灯
10. 一个桶装满盐水10kg，倒掉一半再装满清水，重复三次，盐的浓度是多少
11. 美国总统能否同时担任加拿大总统
12. 如果一辆电动车向北行驶，风向南，烟往哪边飘
13. 一个人星期五去城里，住了三天，星期五回来，为什么
14. 3只猫3分钟抓3只老鼠，100只猫100分钟抓多少只老鼠
15. 一个医生给自己做手术合理吗
16. 一个房间有4个角，每个角一只猫，每只猫看到3只猫，房间里共有多少只猫
17. 10个人互相握手，每两个人握一次手，一共握多少次
18. 1+3+5+7+...+99 等于多少
19. 一张纸连续对折40次，大约有多厚
20. 有100层楼，只有2个鸡蛋，最少需要多少次测试能找到临界楼层

1  9.9
2  8
3  A
4  6
5  一样重
6  4
7  2000
8  星期三
9  灯泡温度法
10  12.5%
11  不能
12  没有烟
13  马叫Friday
14  100
15  合理
16  4
17  45
18  2500
19  约10万公里
20  14

# 一键运行
sudo docker run -d \
  --gpus all \
  -p 8188:8188 \
  -v /share/AI/ComfyUI/models:/comfyui/models \
  -v /share/AI/ComfyUI/output:/comfyui/output \
  --name comfyui-ext \
  ghcr.io/radiatingreverberations/comfyui-extensions:latest

ComfyUI/
├── 📂 models/
│   ├── 📂 text_encoders/
│   │      └── qwen_3_4b.safetensors
│   ├── 📂 loras/
│   │      └── pixel_art_style_z_image_turbo.safetensors
│   ├── 📂 diffusion_models/
│   │      └── z_image_turbo_bf16.safetensors
│   └── 📂 vae/
│          └── ae.safetensors

**Role (角色设定)**
你是一位顶尖的动画电影与角色概念美术设计大师，尤其擅长为经典IP角色创作兼具官方设定严谨性与生活化细节的深度概念图。你拥有“生态化拆解”能力，能从一个核心场景（如合影）还原出角色的完整状态，包括着装细节、动态表情、随身物品，并想象出符合角色背景的私密物件与生活切片，让虚拟角色充满呼吸感。

**Task (任务目标)**
根据用户提供的“在电影院与《疯狂动物城2》朱迪警官合影”这一核心场景，生成一张 **“电影角色沉浸式体验概念分解图”** 。该图需以合影瞬间为视觉锚点，并环绕拆解出朱迪在此次影院宣传活动中的全套造型细节、不同互动表情、宣传专属道具，以及基于其兔子警官与都市生活者身份脑补出的私密与随身物品。

**Visual Guidelines (视觉规范)**

**1. 构图布局 (Layout):**
   - **中心位 (Center):** **影院合影动态场景**。绘制朱迪与粉丝（可简化为一束兴奋的闪光灯光效或模糊人影）在电影《疯狂动物城2》海报背板前的合影瞬间。朱迪身着本集新宣传制服，呈现友善、专业的合影姿态。
   - **环绕位 (Surroundings):** 在中心场景四周，有序排列从该场景中拆解出的朱迪个人元素。
   - **视觉引导 (Connectors):** 使用虚线箭头或胶片风格的引导线，将周边拆解物品与中心朱迪的对应部位连接（如连接口红到嘴部，连接包袋到手臂）。

**2. 拆解内容 (Deconstruction Details) —— 《疯狂动物城城2》宣传期特别版:**

   **服装分层 (Clothing Layers) [宣传制服特辑]:**
   - **外层:** 展示《疯狂动物城2》限量版宣传夹克，带有反光材质的“ZPD”徽标和电影logo绣章。拆解展示夹克的剪裁与防水面料细节。
   - **内层:** 脱下夹克后，展示更适合室内宣传活动的修身POLO衫或高领战术衫，领口有细小徽章。
   - **私密舒适层 (Intimate Apparel - 动物城适配版):** 鉴于角色是毛茸茸的兔子，展示为**特制透气内衬护毛紧身衣**（用于保持毛发整齐）和**符合脚型的柔性运动袜**，重点描绘其透气网眼结构和足底缓冲设计。

   **表情集 (Expression Sheet) [互动情绪四连]:**
   - 在角落绘制4个朱迪头部特写，展示其在影院活动中的情绪变化：
     1. **招牌露齿笑:** 面对镜头时的标准警官式灿烂笑容。
     2. **专注倾听:** 微微侧头，长耳竖起，聆听粉丝说话时的认真表情。
     3. **俏皮眨眼:** 与粉丝互动时，单眼眨动的瞬间，充满亲和力。
     4. **短暂疲惫:** 活动间隙，趁无人注意时悄悄呼一口气、耳朵稍稍耷拉的放松瞬间。

   **材质与部位特写 (Texture & Zoom) [毛绒与科技感]:**
   - **皮毛特写:** 放大肩部或脸颊部位，展示朱迪紫色与灰色相间毛发的细腻质感与光泽。
   - **道具特写:** 放大其佩戴的**《疯狂动物城2》主题智能手表**，表盘显示电影动态海报，强调玻璃屏的反射与金属表壳质感。
   - **物品特写:** 其使用的**胡萝卜造型迷你润唇膏**，特写膏体的滋润质感与管身的磨砂工艺。

   **关联物品 (Related Items) [警官的宣传活动背包]:**
   - **宣传专用随身包袋与内容物:** 绘制一个**多功能战术收纳腰包**，并将其“打开”，展示内部物品：
     - **官方物料:** 迷你电影海报、签名笔（特写笔尖磨损）、限量版爪爪形状纪念贴纸。
     - **个人护理:** 便携式毛发整理刷、上述胡萝卜润唇膏、小瓶爪子专用清洁湿巾。
     - **能量补给:** 独立包装的“胡萝卜能量棒”（包装印有ZPD标志）、便携水壶。
     - **私密生活物件 (Lifestyle & Intimate Items):**
       - **“护耳”静音耳塞:** 用于在嘈杂影院后台短暂休息，设计成小胡萝卜形状。
       - **便携式迷你执法记录仪（个人模式）:** 用于记录温馨粉丝互动时刻，旁边注释“珍贵回忆存档”。
       - **翻开的日程本:** 展示当日页面，手写备注“《动物城2》首映 - 城南影院 - 合影环节 - 记得给尼克留纪念品”，旁边贴着一张与狐狸尼克的小合照。

**3. 风格与注释 (Style & Annotations):**
   - **画风:** 采用高精度、线条清晰的2D动画电影概念设计风格，色彩明快，角色比例严格遵循电影官方设定。
   - **背景:** 使用暖灰色或仿电影胶片边缘的纹理背景，营造影院与设计手稿结合的氛围。
   - **文字说明:** 在每个拆解元素旁模拟手写字体注释，说明材质、用途或小故事。例如：
     - 宣传夹克旁：“轻量防水面料，反光徽章确保夜间活动安全。”
     - 内衬护毛衣旁：“保持仪容整洁的秘密武器，莱卡材质，极佳延展性。”
     - 润唇膏旁：“独家定制胡萝卜香味，持久保湿，防止演讲时唇部干燥。”
     - 日程本旁：“今日重点：分享勇气与梦想。P.S. 尼克那份纪念品别忘！”

**Workflow (执行逻辑)**

1.  **分析核心场景:** 理解“影院合影”是《疯狂动物城2》宣传期的一环，朱迪处于公开、友好但可能疲惫的“明星警官”状态。
2.  **提取一级元素:** 确定中心图为宣传制服、合影姿态。提取可直接观察的元素：新款夹克、笑容、智能手表、腰包。
3.  **脑补二级深度元素:** 结合其兔子生理特征（需要理毛、长耳敏感）和警官的职业需求，设计内部护毛衣、静音耳塞。根据其积极、细腻的性格，想象其会携带粉丝礼物、日程本和私人回忆物品（与尼克的照片）。
4.  **生成组合图:** 将中心动态场景与所有拆解元素有机组合，确保所有物品的光影与色调符合影院环境光，引导线清晰不杂乱。
5.  **最终输出:** 呈现一张充满细节、故事性与专业感的电影角色概念分解图，并附上所有中文注释。

sudo vim /etc/netplan/50-cloud-init.yaml


network:
  version: 2
  ethernets:
    eno1:
      dhcp4: false
      addresses:
        - 10.0.0.28/24
      routes:
        - to: default
          via: 10.0.0.1
      nameservers:
        addresses: [10.0.0.1]



sudo netplan try 
sudo netplan apply



sudo nano /etc/sysctl.d/99-disable-ipv6.conf

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

sudo sysctl -p /etc/sysctl.d/99-disable-ipv6.conf
ip a

# 时区 与 时间调整
sudo timedatectl set-timezone Asia/Shanghai

# 默认的时间服务器连接不上，调整为aliyun的
sudo nano /etc/systemd/timesyncd.conf

[Time]
NTP=ntp.aliyun.com ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp4.aliyun.com ntp5.aliyun.com ntp6.aliyun.com ntp7.aliyun.com
FallbackNTP=ntp.ubuntu.com

sudo systemctl restart systemd-timesyncd


date -R
Fri, 17 Apr 2026 13:40:47 +0800
wx@ai:~$ 



# 确保系统最新
sudo apt update && sudo apt upgrade -y

# 查看推荐驱动版本 可选
ubuntu-drivers devices

# 自动安装
sudo ubuntu-drivers autoinstall

sudo  reboot 

# 重启后执行
nvidia-smi

nvidia-smi 
Fri Apr 17 13:55:16 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.09             Driver Version: 580.126.09     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3080        Off |   00000000:01:00.0 Off |                  N/A |
| 50%   31C    P8             35W /  320W |       1MiB /  20480MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

# 安装nvcc，编译llama.cpp需要
sudo apt install nvidia-cuda-toolkit

nvcc  --version 
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Fri_Jan__6_16:45:21_PST_2023
Cuda compilation tools, release 12.0, V12.0.140
Build cuda_12.0.r12.0/compiler.32267302_0


# 安装基础编译工具和git
sudo apt install -y build-essential cmake git


# 可选但推荐的依赖项
# libcurl: 用于支持从Hugging Face等源自动下载模型[reference:0][reference:1]
# libopenblas: 用于加速CPU上的线性代数运算[reference:2]
sudo apt install -y libcurl4-openssl-dev libopenblas-dev



# 克隆代码仓库
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp


# 创建build目录并进入
mkdir build && cd build

# 使用CMake配置项目，开启CUDA和统一内存支持
# -DGGML_CUDA=ON：启用NVIDIA GPU加速[reference:5]
# -DGGML_CUDA_ENABLE_UNIFIED_MEMORY=1：启用统一内存，简化显存管理[reference:6]
cmake .. -DGGML_CUDA=ON -DGGML_CUDA_ENABLE_UNIFIED_MEMORY=1

# 开始编译，-j16表示使用16个核心并行编译，你可以改为自己的CPU核心数
cmake --build . --config Release -j$(nproc)

# 1. 创建目标目录（比如 /opt/llama/bin）
sudo mkdir -p /opt/llama/bin

# 2. 复制整个 bin 目录内容
sudo cp -r /home/wx/llama.cpp/build/bin/* /opt/llama/bin/

# 删除不要的test文件
sudo rm /opt/llama/bin/test-*

# 3. 将该目录添加到 PATH
echo 'export PATH=/opt/llama/bin:$PATH' | sudo tee /etc/profile.d/llama.sh
# 或者只对当前用户
echo 'export PATH=/opt/llama/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

# Debian/Ubuntu
sudo apt update
sudo apt install samba



sudo mkdir -p /share


# 将目录属主改为 wx （后续所有wx替换成你的用户名）
sudo chown -R wx:wx /share

# 设置目录权限（wx 可读写，其他人只读，可根据需要调整）
sudo chmod 755 /share

# 如果希望任何人都能读写（不安全），可以用 777
sudo chmod 777 /share



sudo vim /etc/samba/smb.conf


# 注意这个文件不要在配置后面写注释，不支持，例如`read only = no # 只读配置` 不要在该行配置的末尾写注释，不支持的
[share]
   path = /share
   browseable = yes
   read only = no
   valid users = wx
   force user = wx
   force group = wx
   create mask = 0777
   directory mask = 0777


sudo smbpasswd -a wx


sudo systemctl restart smbd
sudo systemctl enable smbd   # 开机自启


sudo ufw allow samba

sudo nano /etc/systemd/system/gpu-power-limit.service



[Unit]
Description=Set NVIDIA GPU Power Limit
After=multi-user.target

[Service]
Type=oneshot
ExecStart=/bin/bash -c '/usr/bin/nvidia-smi -pm 1 && /usr/bin/nvidia-smi -pl 240'

[Install]
WantedBy=multi-user.target

sudo systemctl enable gpu-power-limit.service


# 手动测试 240  260  280 均可
/usr/bin/nvidia-smi -pm 1 && /usr/bin/nvidia-smi -pl 240

# 查看测试的效果
nvidia-smi

# 安装docker
curl -fsSL https://get.docker.com | sh



# 安装nvidia-container-toolkit
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list


# 2. 更新软件源并安装 toolkit
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# 3. 为 Docker 配置 NVIDIA 运行时
sudo nvidia-ctk runtime configure --runtime=docker

# 4. 重启 Docker 服务使配置生效
sudo systemctl restart docker



# 运行一个AI绘画的镜像测试，注意该镜像很大（6G左右），拉取较慢，  --gpus all配置即容器中调用显卡配置
sudo docker run -d \
  --gpus all \
  -p 8188:8188 \
  -v /share/AI/ComfyUI/models:/comfyui/models \
  -v /share/AI/ComfyUI/output:/comfyui/output \
  --name comfyui-ext \
  ghcr.io/radiatingreverberations/comfyui-extensions:latest

touch  ~/.default_fun.sh

llamasrv() {
    local model_path="$1"
    if [[ -z "$model_path" ]]; then
        echo "用法: llamasrv <模型路径> [额外参数...]"
        echo "示例: llamasrv ./models/llama-7b.gguf --port 8081 --temp 0.7"
        return 1
    fi
    shift

    local host="${LLAMA_HOST:-0.0.0.0}"
    local port="${LLAMA_PORT:-8080}"

    # ⭐ 核心调整
    local n_gpu_layers="${LLAMA_NGL:-all}"
    local ctx_size="${LLAMA_CTX:-8192}"
    local n_cpu_moe="${LLAMA_N_CPU_MOE:-0}"
    
    # ⭐ 显存控制核心
    local batch_size="${LLAMA_BATCH:-128}"
    local ubatch_size="${LLAMA_UBATCH:-64}"
    local np="${LLAMA_NP:-1}"
    local cache_type_k="${LLAMA_CACHE_TYPE_K:-q8_0}"    # TURBOQUANT 开启后可以设置为turbo3
    local cache_type_v="${LLAMA_CACHE_TYPE_V:-q8_0}"    # TURBOQUANT 开启后可以设置为turbo3
    
    # ⭐ CPU优化
    local threads="${LLAMA_THREADS:-$(($(nproc)/2))}"
    local threads_batch="${LLAMA_THREADS_BATCH:-8}"
    local rope_scaling="${LLAMA_ROPE_SCALING:-linear}"

    # ⭐ 采样
    local temp="${LLAMA_TEMP:-0.5}"
    local repeat_penalty="${LLAMA_REPEAT_PENALTY:-1.1}"
    local top_k="${LLAMA_TOP_K:-40}"
    local top_p="${LLAMA_TOP_P:-0.95}"

    # ⭐ 日志控制：通过环境变量 LLAMA_LOG_DISABLE 控制是否禁用日志
    local log_disable=""
    if [[ "${LLAMA_LOG_DISABLE}" == "1" || "${LLAMA_LOG_DISABLE}" == "true" ]]; then
        log_disable="--log-disable"
    fi

    local cmd=(
        llama-server
        -m "$model_path"
        --host "$host"
        --port "$port"
        -ngl "$n_gpu_layers"
        --batch-size "$batch_size"
        --ubatch-size "$ubatch_size"
        --threads "$threads"
        --threads-batch "$threads_batch"
        -c "$ctx_size"
        --rope-scaling "$rope_scaling"
        --temp "$temp"
        --repeat-penalty "$repeat_penalty"
        --top-k "$top_k"
        --top-p "$top_p"
        -np "$np"
        --n-cpu-moe "$n_cpu_moe"
        --cache-type-k "$cache_type_k"
        --cache-type-v "$cache_type_V"
        --kv-offload
        --flash-attn auto
        --no-warmup
    )

    # 如果 log_disable 非空，则添加到命令中
    if [[ -n "$log_disable" ]]; then
        cmd+=("$log_disable")
    fi

    if [[ $# -gt 0 ]]; then
        cmd+=("$@")
    fi

    echo "执行: ${cmd[*]}"
    "${cmd[@]}"
}

llamakill(){
    kill -9 $(ps aux |grep llama-server | grep -v grep  |awk '{print $2}')
}

find /share/AI/LLM/ -type f -exec ls -lht {} +

...
-rwxrw-r-- 1 wx wx  18G Apr 19 10:10 /share/AI/LLM/DavidAU/GLM-4.7-Flash-Uncen-Hrt-NEO-CODE-MAX-imat-D_AU-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  18G Apr 19 10:06 /share/AI/LLM/unsloth/GLM-4.7-Flash-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  18G Apr 19 10:04 /share/AI/LLM/unsloth/gemma-4-31B-it-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  18G Apr 19 10:02 /share/AI/LLM/unsloth/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  17G Apr 13 16:13 /share/AI/LLM/HauhauCS/GLM-4.7-Flash-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx 5.0G Apr 13 16:02 /share/AI/LLM/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx 945M Apr 13 16:02 /share/AI/LLM/HauhauCS/mmproj-Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-f16.gguf
-rwxrw-r-- 1 wx wx  16G Apr 12 16:10 /share/AI/LLM/Jackrong/Jackrong_Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF
-rwxrw-r-- 1 wx wx  16G Apr 12 16:00 /share/AI/LLM/HauhauCS/Qwen3.5-27B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  16G Apr 12 15:58 /share/AI/LLM/Jiunsong/supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  13G Apr 12 15:47 /share/AI/LLM/bartowski/Mistral-Small-22B-ArliAI-RPMax-v1.1-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  16G Apr 12 15:40 /share/AI/LLM/unsloth/Qwen3.5-27B-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx  16G Apr 12 12:01 /share/AI/LLM/unsloth/gemma-4-26B-A4B-it-UD-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx 4.8G Apr 12 11:18 /share/AI/LLM/capybarahermes-2.5-mistral-7b.Q5_K_M.gguf
-rwxrw-r-- 1 wx wx 4.8G Apr 12 10:56 /share/AI/LLM/bartowski/Mistral-7B-Instruct-v0.3-Q5_K_M.gguf
-rwxrw-r-- 1 wx wx 4.7G Apr 12 10:49 /share/AI/LLM/unsloth/Qwen3-8B-Q4_K_M.gguf
-rwxrw-r-- 1 wx wx 9.6G Apr 12 10:32 /share/AI/LLM/qwen/qwen2.5-coder-14b-instruct-q5_0.gguf

llamasrv /share/AI/LLM/Jiunsong/supergemma4-26b-uncensored-fast-v2-Q4_K_M.gguf
...
llama_model_loader: - kv   0:                       general.architecture str              = gemma4
llama_model_loader: - kv   1:                               general.type str              = model
llama_model_loader: - kv   2:                     general.sampling.top_k i32              = 64
llama_model_loader: - kv   3:                     general.sampling.top_p f32              = 0.950000
llama_model_loader: - kv   4:                      general.sampling.temp f32              = 1.000000
llama_model_loader: - kv   5:                               general.name str              = supergemma4-26b-uncensored-fast-v2
...
llama_model_loader: - kv  48:                          general.file_type u32              = 15
llama_model_loader: - type  f32:  392 tensors
llama_model_loader: - type q5_0:   32 tensors
llama_model_loader: - type q8_0:   28 tensors
llama_model_loader: - type q4_K:  192 tensors
llama_model_loader: - type q6_K:   14 tensors
print_info: file format = GGUF V3 (latest)
print_info: file type   = Q4_K - Medium
print_info: file size   = 15.63 GiB (5.32 BPW) 
...
main: model loaded
main: server is listening on http://0.0.0.0:8080
main: starting the main loop...
srv  update_slots: all slots are idle

Flash Attention was auto, set to enabled

llama_kv_cache_iswa: creating non-SWA KV cache, size = 10240 cells
llama_kv_cache:      CUDA0 KV buffer size =   800.00 MiB
llama_kv_cache: size =  800.00 MiB ( 10240 cells,  10 layers,  4/1 seqs), K (f16):  400.00 MiB, V (f16):  400.00 MiB
llama_kv_cache: attn_rot_k = 0, n_embd_head_k_all = 512
llama_kv_cache: attn_rot_v = 0, n_embd_head_k_all = 512
llama_kv_cache_iswa: creating     SWA KV cache, size = 4352 cells
加了`-np 1`参数，注意`1/1 seqs`这个日志
llama_kv_cache_iswa: creating non-SWA KV cache, size = 10240 cells
llama_kv_cache:      CUDA0 KV buffer size =   800.00 MiB
llama_kv_cache: size =  800.00 MiB ( 10240 cells,  10 layers,  1/1 seqs), K (f16):  400.00 MiB, V (f16):  400.00 MiB
llama_kv_cache: attn_rot_k = 0, n_embd_head_k_all = 512
llama_kv_cache: attn_rot_v = 0, n_embd_head_k_all = 512
llama_kv_cache_iswa: creating     SWA KV cache, size = 1280 cells
llama_kv_cache:      CUDA0 KV buffer size =  1000.00 MiB
llama_kv_cache: size = 1000.00 MiB (  1280 cells,  50 layers,  1/1 seqs), K (f16):  500.00 MiB, V (f16):  500.00 MiB
llama_kv_cache: attn_rot_k = 0, n_embd_head_k_all = 256
llama_kv_cache: attn_rot_v = 0, n_embd_head_k_all = 256

llama-server \
-m  /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-Q4_K_S.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-b 128 \
-ub 64 \
--ctx-size 4096 \
--kv-offload \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--direct-io \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0

llama-server \
-m  /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-Q4_K_S.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-b 128 \
-ub 64 \
--ctx-size 30000 \
--kv-offload \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--direct-io \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0 \
--n-cpu-moe 1

llama-server \
-m /share/AI/LLM/HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-b 128 \
-ub 64 \
--ctx-size 81920   \
--kv-offload \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--direct-io \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0 \
--n-cpu-moe 1

10k上下文 卸载一个专家到CPU kv类型 q8只能对话一轮   q4能对话多轮  token速度 110   q4才能用  必须卸载至少一个专家到CPU 否则炸显存
-rwxrw-r-- 1 wx wx  11G May  1 13:53 /share/AI/LLM/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic.i1-IQ3_XS.gguf


10k上下文 kv类型 q8只能对话一轮   q4能对话多轮  token速度 85   q4才能用  必须卸载至少二个专家到CPU  卸载到CPU严重拖慢速度
-rwxrw-r-- 1 wx wx  12G May  1 13:52 /share/AI/LLM/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic.i1-IQ3_M.gguf

不卸载专家 kv类型q4  上下文能开到40K，速度 92～110 tos/s ，卸载一个专家上下文能开到80K，速度几乎没变化
-rwxrw-r-- 1 wx wx  11G May  1 13:50 /share/AI/LLM/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf

不卸载专家 kv类型q4  上下文能开到40K，速度 120～140 tos/s ，卸载一个专家上下文能开到80K，速度几乎没变化
-rwxrw-r-- 1 wx wx  11G May  1 14:23 /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-IQ2_M.gguf

上下文80K 至少卸载3个专家 速度 100～110 tos/s 
-rwxrw-r-- 1 wx wx  12G May  1 14:22 /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf

卸载一个专家  上下文开80k
-rwxrw-r-- 1 wx wx  11G May  1 13:29 /share/AI/LLM/HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf

llama-server \
-m /share/AI/LLM/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf \
--mmproj /share/AI/LLM/HauhauCS/mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-b 128 \
--ctx-size 40960  \
--kv-offload \
--cache-type-k q4_0 --cache-type-v q4_0 \
--direct-io \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0 \
--n-cpu-moe 3

-rwxrw-r-- 1 wx wx 861M May  1 14:44 /share/AI/LLM/unsloth/mmproj-BF16.gguf
-rwxrw-r-- 1 wx wx  11G May  1 14:26 /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-IQ2_XXS.gguf


-rwxrw-r-- 1 wx wx  11G May  1 13:50 /share/AI/LLM/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
-rwxrw-r-- 1 wx wx 858M May  1 14:54 /share/AI/LLM/HauhauCS/mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf

/share/AI/LLM/HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf
 /share/AI/LLM/HauhauCS/mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf


-rwxrw-r-- 1 wx wx 5.0G May  1 13:20 /share/AI/LLM/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf
-rwxrw-r-- 1 wx   wx   945M May  1 15:10 /share/AI/LLM/HauhauCS/mmproj-Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-f16.gguf

Sat Apr 25 08:36:11 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.09             Driver Version: 580.126.09     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3080        On  |   00000000:01:00.0  On |                  N/A |
|  0%   35C    P8              9W /  240W |      33MiB /  20480MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 4070 Ti     On  |   00000000:02:00.0 Off |                  N/A |
|  0%   37C    P8              4W /  240W |       1MiB /  12282MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

nvidia-smi topo -m
	GPU0	GPU1	CPU Affinity	NUMA Affinity	GPU NUMA ID
GPU0	 X 	PHB	0-5	0		N/A
GPU1	PHB	 X 	0-5	0		N/A

Legend:

  X    = Self
  SYS  = Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI)
  NODE = Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA node
  PHB  = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU)
  PXB  = Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge)
  PIX  = Connection traversing at most a single PCIe bridge
  NV#  = Connection traversing a bonded set of # NVLinks

# 单独使用第一张卡
CUDA_VISIBLE_DEVICES=0 llama-server ....

# 单独使用第二张卡
CUDA_VISIBLE_DEVICES=1 llama-server ....

# 使用awq量化模型，非gguf
ls -lh /share/AI/LLM/cyankiwi 
total 23G
-rwxrw-r-- 1 wx wx 7.6K May  3 13:19 chat_template.jinja
-rwxrw-r-- 1 wx wx  35K May  3 13:18 config.json
-rwxrw-r-- 1 wx wx  202 May  3 13:18 generation_config.json
-rwxrw-r-- 1 wx wx 3.2M May  3 13:19 merges.txt
-rwxrw-r-- 1 wx wx 5.1G May  3 13:18 model-00001-of-00005.safetensors
-rwxrw-r-- 1 wx wx 5.1G May  3 13:18 model-00002-of-00005.safetensors
-rwxrw-r-- 1 wx wx 5.1G May  3 13:19 model-00003-of-00005.safetensors
-rwxrw-r-- 1 wx wx 5.0G May  3 13:19 model-00004-of-00005.safetensors
-rwxrw-r-- 1 wx wx 2.8G May  3 13:19 model-00005-of-00005.safetensors
-rwxrw-r-- 1 wx wx  11M May  3 13:18 model.safetensors.index.json
-rwxrw-r-- 1 wx wx  17K May  3 13:19 tokenizer_config.json
-rwxrw-r-- 1 wx wx  13M May  3 13:18 tokenizer.json
-rwxrw-r-- 1 wx wx 6.5M May  3 13:18 vocab.json



# vllm
docker run --gpus all -d --name vllm \
    -v /share/AI/LLM:/models \
    -p 8080:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /models/cyankiwi \
    --tensor-parallel-size 2 \
    --gpu-memory-utilization 0.8


# 启动比较慢
# 每张卡占用显存19.6  几乎占满
# 速度 85～91 
# 功耗204  196 ，两张显卡都是240w功耗墙 没有使用满
sudo docker run --rm --gpus all --name vllm \
  -v /share/AI/LLM:/models \
  -p 8080:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  --model /models/cyankiwi \
  --tensor-parallel-size 2 \
  --limit-mm-per-prompt '{"image": 0, "video": 0}'


# 显存占用18G （双卡）
# 速度 80～150
sudo docker run --rm --gpus all --name vllm \
  -v /share/AI/LLM:/models \
  -p 8080:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  --model /models/cyankiwi \
  --tensor-parallel-size 2 \
  --limit-mm-per-prompt '{"image": 0, "video": 0}' \
  --gpu-memory-utilization 0.85 \
  --enable-expert-parallel


# 显存占用16G （双卡）
# 速度85～198 token /s 波动比较大
sudo docker run --rm --gpus all --name vllm \
  -v /share/AI/LLM:/models \
  -p 8080:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  --model /models/cyankiwi \
  --tensor-parallel-size 2 \
  --enable-expert-parallel \
  --gpu-memory-utilization 0.80 \
  --block-size 32 \
  --enable-prefix-caching \
  --max-num-seqs 1 \
  --dtype auto \
  --limit-mm-per-prompt '{"image": 0, "video": 0}'

git clone https://github.com/TheTom/llama-cpp-turboquant.git
cd llama-cpp-turboquant

cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j$(nproc)

[ 98%] Built target llama-fit-params
[ 99%] Linking CXX executable ../../bin/llama-cvector-generator
[ 99%] Built target llama-cvector-generator
...
[ 99%] Linking CXX static library libserver-context.a
[ 99%] Built target server-context
[100%] Generating index.html.hpp
[100%] Generating loading.html.hpp
[100%] Generating bundle.js.hpp
[100%] Generating bundle.css.hpp
[100%] Building CXX object tools/cli/CMakeFiles/llama-cli.dir/cli.cpp.o
[100%] Linking CXX executable ../../bin/llama-cli
[100%] Built target llama-cli
[100%] Building CXX object tools/server/CMakeFiles/llama-server.dir/server.cpp.o
[100%] Building CXX object tools/server/CMakeFiles/llama-server.dir/server-http.cpp.o
[100%] Building CXX object tools/server/CMakeFiles/llama-server.dir/server-models.cpp.o
[100%] Linking CXX executable ../../bin/llama-server
[100%] Built target llama-server

./llama-server \
-m /share/AI/LLM/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic.i1-IQ3_XS.gguf \
...
--cache-type-k turbo3 \
--cache-type-v turbo3 \
...

llama-server \
-m /share/AI/LLM/unsloth/Qwen3.6-27B-MTP-Q6_K.gguf \
--mmproj /share/AI/LLM/unsloth/Qwen3.6-27B-mmproj-BF16.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-ts 24,20 \
-b 1024 \
-ub 512 \
-np 1 \
--ctx-size 262144 \
--kv-offload \
--cache-type-k turbo3 \
--cache-type-v turbo3 \
--fit off \
--threads 8 \
--threads-batch 8 \
--threads-http 2 \
--temperature 0.3 \
--top-p 0.9 \
--top-k 40 \
--spec-type draft-mtp \
--spec-draft-n-max 2 \
--port 8080 \
--host 0.0.0.0

llama-server \
-m /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-Q6_K_XL.gguf \
--mmproj /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-mmproj-BF16.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-ts 20,24 \
-b 1024 \
-ub 512 \
-np 1 \
--ctx-size 262144 \
--cache-type-k turbo3 \
--cache-type-v turbo3 \
--fit off \
--threads 8 \
--threads-batch 8 \
--threads-http 2 \
--temperature 0.3 \
--top-p 0.9 \
--top-k 40 \
--port 8080 \
--host 0.0.0.0

llama-server \
-m /share/AI/LLM/unsloth/Qwen3.6-35B-A3B-UD-IQ2_M.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-b 128 \
-ub 64 \
--ctx-size 40960   \
--kv-offload \
--cache-type-k turbo3  \
--cache-type-v turbo3  \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 0.1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0 \
--n-cpu-moe 2

llama-server \
-m /share/AI/LLM/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf \
--mmproj /share/AI/LLM/HauhauCS/mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-np 1 \
-b 128 \
--ctx-size 160920  \
--kv-offload \
--cache-type-k turbo3 \
--cache-type-v turbo3 \
--direct-io \
--fit off \
--threads 6 \
--threads-batch 6 \
--threads-http 2 \
--temperature 1 \
--top-p 0.95 \
--top-k 64 \
--port 8080 \
--host 0.0.0.0 \
--n-cpu-moe 20

./llama-server \
-m /share/AI/LLM/unsloth/Qwen3.6-27B-UD-IQ3_XXS.gguf \
--mmproj /share/AI/LLM/unsloth/Qwen3.6-27B-UD-MTP-mmproj-BF16.gguf \
--n-gpu-layers all \
--flash-attn enabled \
-ts 24,20 \
-b 1024 \
-ub 512 \
-np 1 \
--ctx-size 64000 \
--kv-offload \
--cache-type-k turbo3 \
--cache-type-v turbo3 \
--fit off \
--threads 8 \
--threads-batch 8 \
--threads-http 2 \
--temperature 0.3 \
--top-p 0.9 \
--top-k 40 \
--spec-type draft-mtp \
--spec-draft-n-max 2 \
--port 8080 \
--host 0.0.0.0