一、环境准备与前置条件

1.1 容器化平台安装

容器化部署的基础是Docker环境的正确配置。对于Linux系统，推荐使用官方仓库安装最新稳定版Docker CE，以Ubuntu为例：

# 卸载旧版本（如有）
sudo apt remove docker docker-engine docker.io containerd runc
# 安装依赖包
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common
# 添加官方GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# 添加稳定版仓库
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
# 安装Docker CE
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io

Windows/macOS用户需根据系统版本从官方网站下载对应的Docker Desktop安装包，注意勾选”Enable Kubernetes”选项（如需后续集群部署）。

1.2 存储卷配置

为确保模型数据的持久化存储，建议提前创建专用命名卷：

docker volume create ollama-data

该操作会在宿主机创建独立存储空间，避免直接挂载宿主机目录可能引发的权限问题。通过docker volume inspect ollama-data可查看实际存储路径。

二、镜像获取与验证

2.1 官方镜像拉取

从主流托管仓库获取最新稳定版镜像：

docker pull ollama/ollama:latest

建议通过docker images命令验证镜像完整性，重点关注：

• IMAGE ID一致性
• CREATED时间戳（确保非陈旧版本）
• VIRTUAL SIZE（基础镜像约800MB，完整模型另计）

2.2 镜像安全扫描

生产环境建议执行安全扫描：

docker scan ollama/ollama:latest

重点关注高危漏洞（CVSS评分≥7.0）和已披露的CVE编号，对于关键业务系统建议选择经过修复的特定版本标签（如ollama/ollama:1.2.4）。

三、容器运行模式详解

3.1 纯CPU模式部署

适用于模型推理负载较轻或无GPU硬件的场景：

docker run -d \
  --restart unless-stopped \
  -v ollama-data:/root/.ollama \
  -p 11434:11434 \
  --name ollama-cpu \
  ollama/ollama

关键参数解析：

• --restart unless-stopped：实现容器异常退出后的自动重启
• -v参数：采用预先创建的命名卷，确保数据持久化
• 端口映射：11434为默认API端口，如需修改需同步调整客户端配置

3.2 GPU加速模式部署

对于支持CUDA加速的模型，需满足以下条件：

1. 安装NVIDIA驱动（建议≥470.57.02）
2. 部署NVIDIA Container Toolkit
3. 宿主机预留至少4GB显存

启动命令示例：

docker run -d \
  --gpus all \
  --restart unless-stopped \
  -v ollama-data:/root/.ollama \
  -p 11434:11434 \
  --name ollama-gpu \
  ollama/ollama

性能优化建议：

• 通过nvidia-smi监控GPU利用率
• 对于多卡环境，可使用--gpus '"device=0,1"'指定特定设备
• 调整NVIDIA_VISIBLE_DEVICES环境变量控制可见设备

四、远程管理实现方案

4.1 API服务暴露

容器默认已启用RESTful API，可通过以下方式验证：

curl http://localhost:11434/api/version

如需跨主机访问，需：

1. 配置宿主机防火墙放行11434端口
2. 在云环境设置安全组规则
3. 对于内网穿透场景，可配合Nginx反向代理

4.2 管理界面部署

如需Web管理界面，可部署配套的Ollama-Web项目：

docker run -d \
  --name ollama-web \
  -p 8080:8080 \
  -e OLLAMA_HOST=http://<容器IP>:11434 \
  ghcr.io/ollama-web/ollama-web:latest

注意替换<容器IP>为实际地址，生产环境建议配置HTTPS加密。

4.3 监控告警集成

推荐组合使用以下监控方案：

1. Prometheus采集容器指标：

   # prometheus.yml配置片段
   scrape_configs:
   - job_name: 'ollama'
    static_configs:
      - targets: ['<宿主机IP>:9090']

2. Grafana看板导入ID：1860（官方推荐模板）
3. 设置显存使用率超过80%的告警规则

五、生产环境最佳实践

5.1 高可用架构

建议采用以下部署模式：

• 主备模式：通过Keepalived实现VIP切换
• 集群模式：Kubernetes部署多副本+Service负载均衡
• 边缘计算：结合K3s实现轻量化部署

5.2 资源隔离策略

CPU/内存限制示例：

docker run -d \
  --cpus=4 \
  --memory=16g \
  --memory-swap=20g \
  # 其他参数...

建议根据模型规模设置：

• 7B模型：4核/16GB
• 13B模型：8核/32GB
• 70B模型：32核/128GB+

5.3 更新维护流程

1. 镜像升级：

   docker pull ollama/ollama:new_version
   docker stop ollama-cpu
   docker rm ollama-cpu
   # 重新启动（使用原命令）

2. 数据迁移：
   ```bash

   导出数据

   docker run —rm -v ollama-data:/source -v /tmp/backup:/target alpine \
   cp -r /source /target/ollama-backup

导入数据（新容器）

docker run —rm -v /tmp/backup/ollama-backup:/source -v ollama-data:/target alpine \
cp -r /source/* /target/

# 六、故障排查指南
## 6.1 常见问题处理
| 现象 | 可能原因 | 解决方案 |
|------|---------|---------|
| 容器频繁重启 | 资源不足 | 调整--cpus/--memory参数 |
| API无响应 | 端口冲突 | 检查11434端口占用情况 |
| 模型加载失败 | 存储权限 | 改用命名卷或调整目录权限 |
| GPU不可用 | 驱动问题 | 执行`nvidia-smi`验证 |
## 6.2 日志分析技巧
关键日志路径：
- 容器日志：`docker logs ollama-cpu`
- 模型日志：`/var/lib/docker/volumes/ollama-data/_data/logs/`
- 系统日志：`journalctl -u docker.service`
建议配置日志轮转：
```bash
# /etc/logrotate.d/ollama
/var/lib/docker/volumes/ollama-data/_data/logs/*.log {
    daily
    missingok
    rotate 7
    compress
    delaycompress
    notifempty
    create 644 root root
}

通过以上系统化的部署方案，开发者可构建出既满足性能需求又具备高可用特性的AI模型服务平台。实际部署时需根据具体业务场景调整参数配置，并建立完善的监控告警体系确保服务稳定性。