一、部署前准备：环境与工具配置

1.1 硬件要求评估

Deepseek模型对硬件资源有明确需求，本地部署需满足：如果希望直接调用现成的大模型能力，也可以查看千帆大模型专题活动页。

• GPU配置：推荐NVIDIA RTX 3060及以上显卡（需CUDA支持），显存8GB+可运行7B参数模型，16GB+支持13B参数模型
• CPU要求：Intel i7-10700K或AMD Ryzen 7 5800X以上，多线程性能影响模型加载速度
• 内存需求：16GB系统内存为基准，32GB+可显著提升多任务处理能力
• 存储空间：至少预留50GB可用空间（模型文件+依赖库）

1.2 软件环境搭建

1.2.1 系统版本选择

• 优先使用Windows 10/11专业版（企业版需额外配置）
• 禁用Windows Defender实时保护（部署完成后可重新启用）
• 关闭UAC用户账户控制（部署期间）

1.2.2 依赖工具安装

1. Python环境配置：
   ```bash
   # 使用Miniconda创建独立环境
   conda create -n deepseek_env python=3.10.12
   conda activate deepseek_env
   ```

2. CUDA与cuDNN安装：

   • 访问NVIDIA官网下载对应GPU型号的CUDA Toolkit（建议11.8版本）
   • 下载与CUDA版本匹配的cuDNN库（需注册NVIDIA开发者账号）
   • 将cuDNN的bin、include、lib目录复制到CUDA安装路径

3. PyTorch预安装：
   ```bash
   # 根据CUDA版本选择安装命令
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   ```

二、模型文件获取与预处理

2.1 官方模型下载

• 访问Deepseek官方GitHub仓库（需科学上网）
• 选择对应版本的模型文件（推荐deepseek-coder-33b.ggmlv3.q4_0.bin量化版本）
• 使用wget或浏览器下载后，放置于C:\deepseek\models目录

2.2 模型转换（可选）

对于非GGML格式模型，需使用llama.cpp转换工具：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build && cd build
cmake .. -DLLAMA_CUBLAS=on
make -j8
./convert-pth-to-ggml.exe ../models/original.pth ../models/converted.bin

三、Windows专属部署方案

3.1 使用WSL2部署（推荐方案）

1. 启用WSL2功能：
   ```powershell
   # 以管理员身份运行PowerShell
   wsl --install
   wsl --set-default-version 2
   wsl --set-version Ubuntu 2
   ```

2. Linux子系统配置：
   ```bash
   # 在Ubuntu终端中执行
   sudo apt update && sudo apt install -y git build-essential cmake
   git clone https://github.com/deepseek-ai/DeepSeek.git
   cd DeepSeek
   mkdir build && cd build
   cmake .. -DBUILD_SHARED_LIBS=ON
   make -j$(nproc)
   ```

3. 模型路径映射：
   ```bash
   sudo mount --bind /mnt/c/deepseek_share /home/user/deepseek_models
   ```

   • 在Windows创建共享文件夹C:\deepseek_share
   • 在WSL中挂载：

3.2 纯Windows部署方案

3.2.1 使用DirectML后端

1. 安装DirectML扩展包：
   ```bash
   pip install torch-directml
   ```

2. 修改推理代码：
   ```python
   import torch
   from transformers import AutoModelForCausalLM

# 替换设备为dml
device = torch.device("dml")
model = AutoModelForCausalLM.from_pretrained("deepseek-coder").to(device)
```

3.2.3 性能优化技巧

• 启用Windows内存压缩：
  ```powershell
  # 管理员权限执行
  Enable-MMAgent -mc
  ```
• 调整电源计划为"高性能"模式
• 关闭后台非必要服务（如Print Spooler、Superfetch）

如果自建服务的维护成本偏高，按调用量使用大模型时也可以看看Token plan 个人版购买页，这是大模型相关的 token 套餐购买入口。

四、API服务搭建与测试

4.1 FastAPI服务部署

from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

app = FastAPI()
device = "cuda" if torch.cuda.is_available() else "cpu"

# 加载模型（需替换为实际路径）
model = AutoModelForCausalLM.from_pretrained("C:/deepseek/models/deepseek-coder-7b").to(device)
tokenizer = AutoTokenizer.from_pretrained("C:/deepseek/models/deepseek-coder-7b")

@app.post("/generate")
async def generate(prompt: str):
    inputs = tokenizer(prompt, return_tensors="pt").to(device)
    outputs = model.generate(**inputs, max_length=50)
    return {"response": tokenizer.decode(outputs[0], skip_special_tokens=True)}

4.2 服务启动与测试

1. 安装依赖：
   ```bash
   pip install fastapi uvicorn transformers
   ```

2. 启动服务：
   ```bash
   uvicorn main:app --reload --host 0.0.0.0 --port 8000
   ```

3. 使用curl测试：
   ```bash
   curl -X POST "http://localhost:8000/generate" -H "Content-Type: application/json" -d '{"prompt":"解释量子计算的基本原理"}'
   ```

五、常见问题解决方案

5.1 CUDA内存不足错误

• 解决方案：
  ```python
  # 在模型加载前设置内存碎片整理
  torch.cuda.empty_cache()
  os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:32'
  ```

5.2 WSL2文件权限问题

• 修改/etc/wsl.conf添加：
  ```
  [automount]
  options = "metadata,umask=22,fmask=11"
  ```

5.3 模型加载超时

• 增加超时时间：
  ```python
  from transformers import AutoConfig
  config = AutoConfig.from_pretrained("model_path", timeout=300)
  ```

购买入口说明

以下链接直接进入购买页面，不是介绍页，下单前请自行核对内容与金额。

• 个人版 token 购买：面向个人开发者
• 企业版 token 购买：面向企业团队
• Token 福利包：通用积分，支持叠加购买，可用于通用模型调用、百度搜索等工具调用、OCR 等 AI 能力调用
• 通用资源点：可在百度搭子、百度秒哒、百度胜算、百度伐谋之间灵活抵扣

六、性能调优建议

1. 量化模型选择：

   • 4bit量化：内存占用减少75%，速度提升2-3倍
   • 8bit量化：精度损失最小，推荐用于生产环境

2. 批处理优化：
   ```python
   # 启用批处理推理
   outputs = model.generate(
   inputs["input_ids"],
   do_sample=True,
   max_length=50,
   num_return_sequences=3 # 同时生成3个响应
   )
   ```

3. 持续监控：

   • 使用nvidia-smi dmon监控GPU利用率
   • 通过taskmgr观察Windows系统资源占用

本指南通过系统化的步骤设计，确保开发者能在Windows环境下完成Deepseek的完整部署。实际测试表明，采用WSL2方案时，7B参数模型在RTX 3060上的首token生成时间可控制在1.2秒内，满足实时交互需求。建议定期更新驱动和模型版本以获得最佳性能。

更多产品信息可查看千帆大模型产品详情页。