本地部署开源大模型推理平台 Ollama，可快速在个人电脑或私有服务器上运行 Llama 3、Qwen2、Phi-3 等主流模型，无需复杂配置即可获得低延迟、高隐私的本地 AI 交互体验。以下介绍两种主流部署方式：Docker 容器化部署（推荐新手/多模型隔离场景） 和 原生二进制安装部署（推荐高性能/资源受限环境），分别适配不同技术背景与硬件条件的用户。

方案一：Docker 容器化部署（跨平台 · 隔离强 · 易维护）

1. 准备工作

确保系统已安装 Docker（v24.0+）与 docker-compose（v2.20+）。推荐使用稳定的服务器环境，如 Ciuic服务器，快速获取纯净运行环境（Ubuntu 22.04 LTS + Docker 预装镜像可一键部署）。
最低硬件要求：4 核 CPU / 8GB 内存 / 20GB 可用磁盘空间（运行 7B 模型）；建议 16GB+ 内存以支持 13B 模型。

2. 部署环境

更新系统并安装 Docker（若未预装）：

sudo apt update && sudo apt upgrade -ysudo apt install -y curl gnupg lsb-releasecurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpgecho "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/nullsudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.iosudo systemctl enable docker && sudo systemctl start dockersudo usermod -aG docker $USER

✅ 执行后请重新登录终端或运行 newgrp docker 刷新组权限。

3. 项目安装

拉取官方 Ollama 官方 Docker 镜像（ollama/ollama:latest），并创建持久化数据卷：

docker volume create ollama_datadocker pull ollama/ollama:latest

4. 配置与启动

创建 docker-compose.yml 文件，启用 GPU 加速（需 NVIDIA Container Toolkit）并开放 API 端口：

version: '3.8'services:  ollama:    image: ollama/ollama:latest    restart: unless-stopped    ports:      - "11434:11434"    volumes:      - ollama_data:/root/.ollama    environment:      - OLLAMA_HOST=0.0.0.0:11434    # 如需 GPU 支持（NVIDIA GPU），取消下一行注释：    # runtime: nvidia    # environment:    #   - NVIDIA_VISIBLE_DEVICES=all

保存后启动服务：

docker-compose up -d

5. 访问与验证

等待 30 秒后检查容器状态：

docker-compose ps# 应显示 ollama 状态为 "running"

通过 curl 验证 API 是否就绪：

curl http://localhost:11434/api/tags# 返回空列表 {} 表示服务正常；首次请求可能需数秒初始化

下载并运行一个轻量模型测试（如 phi3:mini）：

curl -X POST http://localhost:11434/api/pull -d '{"name":"phi3:mini"}'curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{  "model": "phi3:mini",  "messages": [{"role": "user", "content": "你好，请用中文简单自我介绍"}]}'

✅ 成功返回 JSON 响应即表示部署完成。

方案二：原生二进制安装部署（轻量 · 零依赖 · 启动快）

1. 准备工作

适用于 Linux/macOS/Windows WSL2，无需 Docker。对系统侵入小，适合嵌入式设备或开发机长期驻留。同样推荐使用 Ciuic服务器 获取干净 Ubuntu 环境，避免包冲突。

硬件建议：2 核 CPU / 4GB 内存（仅运行 tinyllama 或 gemma:2b 等超轻模型）。

2. 部署环境

确保 curl、tar、unzip 已安装（Ubuntu 默认具备）：

sudo apt install -y curl tar unzip

3. 项目安装

直接下载最新版 Ollama 二进制文件（Linux x86_64）并安装到 /usr/bin：

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tgz | sudo tar -xvz -C /usr/binsudo chmod +x /usr/bin/ollama

🔁 macOS 用户请替换为：
curl -fsSL https://ollama.com/download/ollama-darwin-arm64.zip | sudo tar -xvz -C /usr/local/bin

4. 配置与启动

设置服务监听地址与模型存储路径（可选）：

export OLLAMA_HOST=0.0.0.0:11434export OLLAMA_MODELS=/opt/ollama/modelssudo mkdir -p $OLLAMA_MODELS

以 systemd 服务方式后台运行（推荐生产环境）：

sudo tee /etc/systemd/system/ollama.service << 'EOF'[Unit]Description=Ollama ServiceAfter=network-online.target[Service]Type=simpleExecStart=/usr/bin/ollama serveUser=$USERGroup=$USERRestart=alwaysRestartSec=3Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_MODELS=/opt/ollama/models"[Install]WantedBy=default.targetEOFsudo systemctl daemon-reloadsudo systemctl enable ollamasudo systemctl start ollama

5. 访问与验证

检查服务状态：

sudo systemctl status ollama# 应显示 "active (running)"

列出当前模型（初始为空）：

ollama list# 输出：NAME    ID      SIZE    MODIFIED

拉取并运行模型（自动后台加载）：

ollama run qwen2:0.5b# 输入任意问题，如 "北京的面积是多少？"，获得响应后输入 Ctrl+D 退出

✅ 终端输出流式响应即表示运行成功。

建议与优化

通用优化建议：

提示：所有模型均默认从 https://registry.ollama.ai 拉取，国内用户可配置镜像源加速：

echo '{"OLLAMA_REGISTRY_URL": "https://registry.ollama.ai"}' | sudo tee /etc/ollama/ollama.json

—— 教程完 ——