1. 为什么选择Ollama？一个轻量级本地大模型神器

如果你对AI大模型感兴趣，但又觉得那些动辄几十GB的云端服务门槛太高，或者担心数据隐私问题，那么Ollama绝对是你的菜。我刚开始接触本地部署大模型时，也被各种复杂的依赖和环境配置搞得头大，直到用了Ollama，才真正体会到什么叫“开箱即用”。简单来说，Ollama就是一个帮你把各种开源大模型（比如通义千问、DeepSeek、Llama这些）打包成“绿色软件”的工具。它用Go语言写成，底层巧妙地利用了容器化技术，但完全不需要你先去学Docker，因为它把这些都封装好了，给你一个极其简单的命令行界面。

想象一下，你想在电脑上运行一个AI助手，以前可能需要折腾Python环境、CUDA驱动、模型转换，没个半天搞不定。现在呢？在Windows上，你下载一个.exe安装包，双击，下一步下一步，完事。在Ubuntu上，一条命令curl -fsSL https://ollama.com/install.sh | sh，敲个回车，它自己就全搞定了。这体验，就像在应用商店里安装一个普通软件一样顺滑。我实测下来，从零开始到跑起第一个模型对话，在Windows 10和Ubuntu 24.04 LTS上都只花了不到10分钟。

Ollama的核心优势就是跨平台和轻量化。它不光支持Windows、macOS、Linux这些主流系统，甚至能在树莓派上跑，这就给了我们极大的灵活性。你可以在一台高性能的Ubuntu服务器上部署它，作为团队内部的AI服务；也可以在个人Windows笔记本上装一个，离线写代码、处理文档，完全不用担心网络问题。更重要的是，它管理模型非常方便，用ollama pull拉取模型，ollama run运行模型，ollama list查看已安装的模型，命令直观得就像在用apt或brew管理软件包。接下来，我就带你手把手走一遍在Windows 10和最新的Ubuntu 24.04 LTS上，无论是网络畅通还是完全离线的环境，如何稳稳地把Ollama部署起来。

2. Windows 10 部署实战：从安装到改盘符避坑

Windows下的安装可能是最简单的路径了。官方提供了一个名为OllamaSetup.exe的安装程序，你直接去官网下载，双击运行就行。这个过程傻瓜式到没什么好说的，但有几个关键细节和“坑”我踩过，必须跟你讲清楚。

安装完成后，Ollama默认会在后台启动一个服务，并在你的系统托盘（右下角）出现一个小图标。这时候，你就可以打开PowerShell或者CMD，输入ollama run qwen2:7b这样的命令来尝试拉取并运行你的第一个模型了。如果网络没问题，它会开始下载模型文件。但问题来了：这些模型文件默认存在哪里？ 答案是 C:\Users\你的用户名\.ollama\models 目录下。一个7B参数的模型，动辄就是4-5GB，稍微大点的70B模型可能就几十GB。现在谁C盘不是红彤彤的？把模型放C盘，简直是“硬盘空间杀手”。

所以，安装后的第一件大事，就是修改模型存储路径。这不是在Ollama软件里设置的，而是通过Windows的系统环境变量。我自己的习惯是专门用一个空间大的盘，比如F盘，新建一个F:\ollama\models文件夹。然后按照下面的步骤操作：

1. 在Windows搜索框输入“环境变量”，选择“编辑系统环境变量”。
2. 在弹出的“系统属性”窗口，点击右下角的“环境变量”按钮。
3. 在下面的“系统变量”区域，点击“新建”。
4. 变量名输入：OLLAMA_MODELS （注意全部大写，这个变量名是Ollama官方认的）。
5. 变量值输入你想要的路径，比如：F:\ollama\models。
6. 一路点击“确定”保存。

注意：这里有个大坑！修改环境变量后，必须重启电脑才能生效。仅仅重启Ollama服务或者注销用户是没用的。我当初就是没重启，折腾了半天发现模型还是往C盘下，白白浪费了时间。

重启之后，你再通过ollama pull拉取模型，就会乖乖地存到你指定的F盘目录了。你可以去那个文件夹确认一下，里面应该出现了以模型命名的子文件夹和文件。另外，在Windows上，Ollama的服务是自动运行的。如果你想管理它，可以在服务管理器（services.msc）里找到“Ollama”服务，进行启动、停止或设置自动启动类型。用命令行的话，以管理员身份打开PowerShell，用net stop ollama和net start ollama也可以。

3. Ubuntu 24.04 LTS 在线安装：一条命令的极速体验

对于Linux用户，特别是使用像Ubuntu 24.04 LTS这样新版本系统的朋友，在线安装Ollama的体验堪称优雅。官方提供了一个安装脚本，把下载、安装、配置系统服务这些步骤全部自动化了。你只需要确保你的机器能够访问互联网，然后打开终端。

在动手之前，最好先看一眼你的系统架构，虽然对于大多数台式机和笔记本来说都是x86_64。打开终端，输入：

lscpu | grep Architecture

如果输出是Architecture: x86_64，那就没问题。接下来就是核心的一行魔法命令：

curl -fsSL https://ollama.com/install.sh | sh

这行命令会从官网下载安装脚本并立即执行。执行过程中，它会请求sudo权限，你需要输入密码。脚本会自动完成以下工作：下载对应架构的Ollama二进制包、将其解压到/usr/bin/目录下、创建一个名为ollama的系统用户和用户组来安全地运行服务、最后配置一个systemd服务单元（ollama.service）以便管理。

安装脚本跑完后，Ollama服务默认是启动的。你可以用以下命令来管理它：

# 查看服务状态，确认是否活跃运行
sudo systemctl status ollama
# 如果需要启动服务
sudo systemctl start ollama
# 设置开机自动启动（推荐）
sudo systemctl enable ollama
# 重启服务（比如修改了配置后）
sudo systemctl restart ollama

看到状态显示active (running)，就说明服务已经跑起来了。这时候，你就可以像在Windows上一样使用ollama命令了。例如，直接运行ollama run llama3.2:3b，它会先拉取Meta最新的Llama 3.2 3B模型，然后进入交互式对话界面。整个流程非常顺畅，几乎不需要任何额外的干预。

这种在线安装方式最适合有网络的环境，也是官方推荐的首选。它帮你处理了所有繁琐的配置，让你能专注于使用模型本身。不过，有时候我们的生产环境或者某些特定的开发机可能处于内网，无法连接互联网，这时候就需要用到离线安装了。

4. Ubuntu 24.04 LTS 离线安装详解：内网环境的终极方案

离线安装听起来复杂，但实际上就是手动走一遍在线安装脚本帮你做的事。这个过程能让你更深入地理解Ollama在Linux下的运行机制，以后排查问题也更有底气。我曾在一些客户严格的内网服务器上部署过，所以这套步骤是经过实战检验的。

第一步：准备安装包。 你需要一台能上网的机器，访问Ollama的GitHub Release页面，下载对应你Ubuntu系统架构的压缩包。对于Ubuntu 24.04 on x86_64，就是ollama-linux-amd64.tgz。把这个包用U盘或者内部文件共享的方式，传到目标离线服务器上。假设你放到了用户的~/Downloads目录。

第二步：手动解压和放置。 打开终端，执行以下命令，将Ollama解压到系统目录：

sudo tar -C /usr -xzf ~/Downloads/ollama-linux-amd64.tgz

这个操作会把可执行文件ollama放到/usr/bin/下，同时还有一些相关的运行时文件。接着给它执行权限：

sudo chmod +x /usr/bin/ollama

第三步：创建专用的系统用户。 为了安全，我们不建议用root直接运行Ollama。创建一个无法登录的专用用户：

sudo useradd -r -s /bin/false -m -d /data/ollama ollama

这里我特意把家目录（-d参数）设为了/data/ollama，这和后面配置模型存储路径有关。-r表示创建系统用户，-s /bin/false禁止其登录。

第四步：配置Systemd服务（关键！）。 这是离线安装的核心，你可以在这里定制很多行为。创建服务配置文件：

sudo vim /etc/systemd/system/ollama.service

将以下配置内容粘贴进去。我加了大量注释，这些都是我踩坑后总结的实用配置：

[Unit]
Description=Ollama Service
After=network-online.target # 确保在网络就绪后启动

[Service]
ExecStart=/usr/bin/ollama serve # 核心启动命令
User=ollama # 以我们创建的ollama用户运行
Group=ollama
Restart=always # 崩溃后自动重启
RestartSec=3 # 重启前等待3秒

# 环境变量配置区，非常有用！
# 让Ollama监听所有网络接口，方便其他机器访问
Environment="OLLAMA_HOST=0.0.0.0:11434"
# 指定使用哪几张GPU卡，例如“0,1”表示只用前两张卡
Environment="CUDA_VISIBLE_DEVICES=0"
# 在多GPU时启用负载均衡策略，1为启用
Environment="OLLAMA_SCHED_SPREAD=1"
# 模型常驻内存，避免频繁加载卸载。-1为永久，也可设具体分钟数
Environment="OLLAMA_KEEP_ALIVE=-1"
# 配置模型存储路径，覆盖默认位置！指向我们创建用户时的家目录
Environment="OLLAMA_MODELS=/data/ollama/.ollama/models"
# 允许跨域请求，如果你要开发Web前端界面需要这个
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

这个配置文件里，OLLAMA_MODELS环境变量是最重要的之一，它决定了模型下载到哪里，相当于Windows上的那个环境变量。我把它指向了/data/ollama下，这样就和系统盘分开了。

第五步：启动并验证服务。 保存退出编辑器后，需要让systemd重新加载配置，然后启动服务：

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama # 启用开机自启

检查状态sudo systemctl status ollama，确保是active (running)。最后，验证一下安装是否成功：

ollama --version

如果能正确输出版本号，恭喜你，离线部署完成！即使在没有网络的环境里，你也可以通过事先在其他机器上ollama pull好模型文件，然后拷贝到/data/ollama/.ollama/models目录对应的文件夹里，再使用ollama run来运行本地模型。

5. 高级篇：使用Docker部署Ollama的灵活之道

虽然Ollama本身已经足够简单，但有时候我们可能希望它运行在更隔离的环境里，或者宿主机环境非常复杂，不想被污染。这时候，用Docker来部署Ollama就成了一个非常优雅的选择。这种方式尤其适合那些已经熟悉Docker生态的开发者，可以轻松实现版本管理、快速迁移和复制。

首先，你需要确保你的系统已经安装了Docker引擎。在Ubuntu 24.04上，可以通过apt安装。然后，拉取官方的Ollama镜像：

docker pull ollama/ollama

这个镜像包含了运行所需的所有依赖。接下来就是创建容器了。这里分两种情况：

情况一：仅使用CPU运行。 如果你的机器没有NVIDIA GPU，或者你只想用CPU跑小模型，命令很简单：

docker run -d \
  --name ollama-server \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

解释一下参数：-d让容器在后台运行；--name给容器起个名字；-p 11434:11434把容器的11434端口映射到宿主机的同一端口（你可以把前面的11434改成其他端口，比如11435:11434来避免冲突）；-v ollama_data:/root/.ollama创建了一个名为ollama_data的Docker卷，用来持久化存储模型数据，这样即使容器被删除，模型文件还在。

情况二：使用GPU加速（推荐有N卡的用户）。 要让Docker容器使用GPU，需要先安装NVIDIA Container Toolkit。安装后，运行命令需要加上--gpus all：

docker run -d \
  --name ollama-server \
  --gpus all \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  ollama/ollama

这样，容器内的Ollama就能直接调用宿主机的GPU进行计算，速度会有质的提升。

容器启动后，你并不能直接在宿主机上用ollama命令了。你需要进入容器内部操作，或者通过HTTP API与它交互。进入容器的方式是：

docker exec -it ollama-server bash

这会给你一个容器内的bash shell。在这个shell里，你就可以执行ollama pull、ollama run等所有命令了，拉取的模型会保存在你挂载的卷里。退出容器用exit。

Docker部署的好处是显而易见的：环境纯净、与宿主机隔离、一键部署和销毁。你可以很轻松地在同一台机器上运行多个不同版本的Ollama容器，或者将整个环境（包括模型）打包成镜像，迁移到任何其他Docker主机上。

6. 模型管理、常用命令与实用技巧

把Ollama装好只是第一步，真正玩转它，还得熟悉它的命令行工具。这些命令设计得非常直观，有点像Git或者Docker CLI的感觉。下面我结合自己的使用经验，给你梳理一下最常用、最核心的命令和技巧。

核心模型操作三连：

• ollama pull <模型名>: 这是你开始的第一步。比如ollama pull qwen2:7b会拉取通义千问2的7B参数版本。模型名可以在官方模型库查找。拉取时会显示进度条。
• ollama run <模型名>: 拉取完成后，用这个命令启动一个交互式会话。你会进入一个对话界面，直接输入问题，模型就会回答。这是最简单的测试方式。
• ollama list: 查看本地已经下载了哪些模型，以及它们占用的磁盘空间。当你试过很多模型后，这个命令能帮你理清家底。

进阶管理和运维命令：

• ollama ps: 这个命令挺有用的，可以查看当前正在运行的模型进程，包括它们占用的内存和GPU情况。有时候你觉得电脑卡了，可以看看是不是哪个大模型在后台跑着。
• ollama rm <模型名>: 删除本地不再需要的模型，释放硬盘空间。比如ollama rm llama2:13b。
• ollama cp <源模型名> <新模型名>: 复制一个模型并创建新副本。有时候你想基于一个现有模型做点自定义修改（需要结合Modelfile），这是第一步。
• ollama show <模型名>: 显示某个模型的详细信息，包括它的参数大小、修改时间等。

关于Modelfile和自定义模型： Ollama一个强大的功能是支持通过Modelfile来自定义模型。你可以基于一个现有模型，给它设定系统提示词（system prompt）、调整参数等。基本流程是：

1. 创建一个Modelfile文件，内容类似：

   FROM qwen2:7b
   SYSTEM “你是一个专业的Python编程助手，回答要简洁且附带代码示例。”
   

2. 使用ollama create <自定义模型名> -f ./Modelfile来创建新模型。
3. 然后用ollama run <自定义模型名>来运行它。这样，你就得到了一个量身定制的AI助手。

性能调优小技巧：

• GPU内存不足？ 在ollama run时，可以加上--num-gpu 40这样的参数，这个数字代表将多少层的模型放到GPU上（对于70B模型，40可能意味着约一半的层在GPU上），剩下的在CPU，这是一种“混合”推理策略，能缓解显存压力。
• 只想快速测试？ 很多模型都提供更小的“文本”版本或量化版本，比如llama3.2:3b、qwen2.5:0.5b，参数小，速度快，对硬件要求极低，适合初次尝鲜或低功耗设备。
• 服务化调用： Ollama在后台启动服务后，不仅可以通过CLI交互，还提供了一个HTTP API（默认在11434端口）。你可以用curl命令或者任何编程语言来发送请求，这样就可以轻松地把大模型能力集成到你自己的应用里了。例如：curl http://localhost:11434/api/generate -d '{"model": "llama3.2:3b", "prompt": "你好"}'。

部署和使用的过程难免会遇到问题，最常见的就是网络超时拉不下模型，或者GPU驱动不兼容。对于网络问题，离线安装章节的方法就是终极解决方案。对于GPU问题，确保你的NVIDIA驱动、CUDA版本比较新，在Linux下安装NVIDIA Container Toolkit（如果要用Docker GPU支持）时仔细看官方文档。多看看终端输出的日志信息，大部分错误提示都很直接，能帮你快速定位问题所在。