关于基于DeepSeek-R1蒸馏的六款子模型是否适合个人部署，我特别关注了其中一些模型文件非常庞大的版本，比如DeepSeek-R1-Distill-Qwen-32B和DeepSeek-R1-Distill-Llama-70B。

DeepSeek-R1模型参数：671B（6710亿），模型大小：约720G。

DeepSeek-R1-Distill-Qwen-1.5B模型参数1.5B（15亿），模型大小：约4G

DeepSeek-R1-Distill-Qwen-7B模型参数7B （70亿），模型大小：约15G

DeepSeek-R1-Distill-Llama-8B模型参数8B（80亿），模型大小：约16G

DeepSeek-R1-Distill-Qwen-14B模型参数14B（140亿），模型大小：约30G

DeepSeek-R1-Distill-Qwen-32B模型参数32B（320亿），模型大小：约75G

DeepSeek-R1-Distill-Llama-70B模型参数70B（70亿），模型大小：约140G

1、本地内网部署Ollama

本地服务器配置信息如下：

• OS: Ubuntu 22.04  （ubuntu官方镜像下载地址：https://releases.ubuntu.com/jammy/ubuntu-22.04.5-desktop-amd64.iso）

• Memory: 64GB

• Python: 3.10.12 （推荐） / 3.12.3 均已测试

• CUDA Version: 12.4

• GPU Driver: NVIDIA-Linux-x86_64-550.142

• GPU: NVIDIA GeForce RTX 3090 24G*2

下载官方Ollama镜像：

在一个联网的服务器上使用命令下载ollama镜像，并导出ollama镜像，命令如下：

#下载镜像docker pull ollama# 找到ollama/ollama:latest镜像docker images #导出镜像docker save -o ollama-latest.tar ollama/ollama:latest

加载Ollama镜像：

docker load < ollama-latest.tar

启动Ollama容器：

docker run -d --privileged --gpus all --restart always -e OLLAMA_SCHED_SPREAD=1 -v /data/ollama:/root/.ollama -p 8003:11434 --shm-size 12G --name ollama ollama/ollama

注意：-v /data/ollama:/root/.ollama 是将容器里面的/root/.ollama目录挂载到宿主机的/data/ollama目录，根据自己的实际目录填写。

进入Ollama容器：

docker exec -it ollama bash

以下是 Ollama 的常用命令：

模型管理类：

ollama run <model>：下载并运行指定的模型。例如，ollama run llama2 会自动下载并启动 LLaMA 2 模型。

ollama pull <model>：只下载模型，但不运行。例如，ollama pull mistral。

ollama list：查看本地已有的模型列表。

ollama rm <model>：删除指定的模型。例如，ollama rm llama2。

ollama cp <source_model> <destination_model>：复制模型。例如，ollama cp llama3 my-model。

ollama push <model>：将模型推送到注册仓库。

ollama create <model_name> -f <Modelfile>：从 Modelfile 创建模型。例如，ollama create my-model -f Modelfile。

服务管理类：

ollama serve：启动 Ollama 服务。

ollama ps：列出正在运行的模型。

其他：

ollama show <model>：显示指定模型的信息。

ollama help：获取关于任何命令的帮助。

这些命令可以帮助用户更好地管理和使用 Ollama 模型。

2、本地内网部署大模型Deepseek-R1

去ollama官网查看deepseek模型地址：https://ollama.com/library/deepseek-r1:14b

安装并启动deepseek-r1:14b模型：

ollama run deepseek-r1:14b

这个下载过程取决于网络，需要等待一会，下载完成，这时候deepseek-r1大模型启动成功。

可以执行查看已经启动的模型：

ollama list

此时，ollama启动deepseek模型已经启动成功。