ai - ollama 的基本使用方法

refer to:
https://ollama.com/

1. 安装：
https://ollama.com/download

curl -fsSL https://ollama.com/install.sh | sh

2. 安装qvq 32b:
https://ollama.com/library/qwq

128G 32CORE的话，大概 2-3汉字/秒

3. ollama基本用法，跟docker一样。

ollama -h 查看帮助

ollama ps 查看运行的model

ollama list 查看保存的东西

ollama run qwq:latest    启动某个模型

ollama stop qwq:latest    停止某个模型

4. 会话相关

4.1 进入某个会话：  ollama run qwq

4.2 退出当前会话： /bye

4.3 保存当前会话： /save my_test

4.4 使用curl 触发会话：

curl http://localhost:11434/api/generate -d '{
"model": "qwq",
"prompt": "今天天气不错，挺风和日丽的。下一句是什么？",
"stream": false
}'

10. 硬件相关。

纯CPU环境，128G， 32C下，大概 6汉字/s