核心导读与中文摘要
几行命令即可在 Windows/macOS/Linux 本地拉取并运行量化开源模型,提供标准 REST 接口方便离线开发测试。
Ollama 本地部署与 OpenAI 兼容调试
Ollama 将模型权重拉取、GGUF 量化加载、GPU 显存调度与 HTTP 服务封装为极简命令行工具,一条命令即可在本地提供与 OpenAI SDK 兼容的推理接口。
常用命令速查
bash
# 拉取并交互式运行模型
ollama run qwen3:8b
# 查看本地已下载模型与占用空间
ollama list
# 查看当前加载到显存的模型
ollama ps
OpenAI SDK 无缝切换本地模型
typescript
import OpenAI from 'openai';
const client = new OpenAI({
baseURL: 'http://localhost:11434/v1',
apiKey: 'ollama', // 本地调试占位即可
});
显存建议:8GB 显存建议优先选用 7B–9B Q4_K_M 量化模型;24GB 显存可流畅运行 14B–32B 编程与推理模型。
