ai - rag - 自行下载model ,手动方法 HF_ENDPOINT
访问量: 6
今天发现,无论如何无法下载model到本地。
使用了 huggingface_mirror / base url 也不行
于是尝试手动解决。
1. 手动下载model https://hf-mirror.com/BAAI/bge-reranker-v2-m3/resolve/main/model.safetensors
2. 计算sha256: certutil -hashfile "%USERPROFILE%\Downloads\model.safetensors" SHA256
3. copy到对应文件夹:copy "%USERPROFILE%\Downloads\model.safetensors" "%USERPROFILE%\.cache\huggingface\hub\models--BAAI--bge-reranker-v2-m3\blobs\d9e3e081faff1eefb84019509b2f5558fd74c1a05a2c7db22f74174fcedb5286"
4. 创建这个文件:创建 snapshot 条目
```
mkdir "%USERPROFILE%\.
cache\huggingface\hub\models--BAAI--bge-reranke
r-v2-m3\snapshots\953dc6f6f85a1b2dbfca4c34a2796
e7dde08d41e"
```
然后在里面创建一个文本文件记录文件映射,不过这一步比较复杂。

基本上第四步不操作也可以的。
在国内,手动下载一下,速度慢,可以通。
下面是一个debug的例子。
import os
# os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
# os.environ["HF_HUB_DISABLE_SYMLINKS"] = "1"
from huggingface_hub import get_hf_file_metadata, hf_hub_url
print(f" fd endpoint: {os.environ['HF_ENDPOINT']}")
url = hf_hub_url("BAAI/bge-reranker-v2-m3", "model.safetensors")
print(f" download url: {url} ")
