ai - 本地运行qwen 3.8 27b
访问量: 10
refer to:
1. 下载：
我的是Windows 11308020 G显存，所以用的是这个
解压缩到本地，假设文件夹为 C:\workspace\coding_tools\llama.cpp\llama-b10618-bin-win-cuda-12.4-x64
然后设置一下本地的镜像
$env:MODEL_ENDPOINT = "https://hf-mirror.com"
.\llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -ngl 99 -c 8192 -ctk q8_0 -ctv q8_0 --host 0.0.0.0 --port 8600
哇塞，居然他就跑起来了
不过目前是每秒13.15个token