1. 为什么要在Windows 10上折腾Ollama？

如果你对AI大模型感兴趣，但又觉得那些动辄几十GB的模型、复杂的Python环境配置让人头大，那Ollama绝对是你的“梦中情工具”。简单来说，Ollama就是一个帮你“开箱即用”运行各种开源大模型的工具。它把模型下载、环境配置、运行服务这些繁琐的步骤都打包好了，你只需要一条简单的命令，就能像和朋友聊天一样和AI模型对话。

在Windows 10上使用Ollama，最大的好处就是省心。你不用去折腾WSL（Windows Subsystem for Linux），也不用在Docker里绕来绕去。它提供了原生的Windows安装包，就像安装一个普通软件一样简单。无论是想体验一下最新的聊天模型，还是想本地部署一个代码助手来帮你写程序，甚至是跑一个轻量模型处理本地文档，Ollama都能让你在几分钟内搞定。我自己就经常用它来快速验证一些模型的想法，或者在没有网络的时候，让它帮我处理一些文本工作，实测下来非常方便。

当然，它也不是万能的。Ollama主要面向的是消费级硬件，如果你的目标是部署一个百亿参数的大模型进行商业服务，那可能需要更专业的方案。但对于我们大多数开发者、学生或者技术爱好者来说，在个人电脑上快速搭建一个私密的、可玩性高的AI环境，Ollama是目前最友好的选择之一。接下来，我就手把手带你走一遍从安装到熟练使用的全过程，过程中我踩过的坑、总结的技巧，都会毫无保留地分享给你。

2. 安装前的准备工作：别急着点下一步

安装软件最怕什么？不是过程复杂，而是装到一半发现缺这缺那，或者装完了根本跑不起来。所以在运行那个OllamaSetup.exe之前，花几分钟做好下面这几项检查，能帮你省下后面大量排查问题的时间。

2.1 硬件与系统检查

首先，看看你的电脑“底子”怎么样。Ollama本身是个管理工具，不挑食，但它要运行的模型可是“硬件杀手”。最基本的，确保你的Windows 10是64位系统，这个现在绝大多数电脑都满足。内存是关键，我建议至少要有16GB的物理内存。如果你想运行70亿参数（7B）左右的模型，并且获得流畅的体验，16GB是起步价。8GB内存也能跑一些小模型，但会比较吃力，容易卡顿。

如果有独立显卡，那体验会好上一个台阶。Ollama支持利用NVIDIA的CUDA来加速模型运行，速度能比纯CPU快几倍甚至几十倍。检查显卡很简单，在桌面左下角的搜索框输入“cmd”，打开命令提示符，然后输入命令 nvidia-smi 并回车。如果显示了你的显卡型号和驱动版本，比如“GeForce RTX 3060”，那就说明你的显卡驱动和CUDA基础环境是OK的。如果提示“不是内部或外部命令”，那说明你可能需要去NVIDIA官网下载并安装显卡驱动。这里有个小坑：最新的驱动不一定包含所有CUDA组件，如果你后续想用GPU跑模型，可能还需要单独安装CUDA Toolkit，这个我们后面会提到。

2.2 网络与存储空间准备

模型文件动辄几个GB，所以网络一定要通畅。Ollama在首次运行模型时会从它的官方仓库（通常是GitHub）拉取模型文件。如果你的网络环境访问这些国外源不太稳定，很容易下载到一半失败。提前准备好一个稳定的网络环境，或者了解一下如何配置镜像源，会很有帮助。另外，给你的系统盘（通常是C盘）留出足够的空间。虽然我们可以把模型文件存到其他盘，但Ollama的默认安装路径和部分临时文件还是在系统盘，至少保证有10GB以上的空闲空间会比较稳妥。

最后，想清楚你要把Ollama装在哪里。默认安装会直接装到C盘的程序文件夹，但对于这种可能存放大量模型文件的工具，我强烈建议你自定义安装路径，把它放到一个空间充裕的磁盘分区里。比如，我习惯在D盘或E盘创建一个专门的“AI_Tools”文件夹，把Ollama、Python环境这些都放进去，方便统一管理，也避免挤占C盘空间。

3. 详细安装步骤与避坑指南

好了，准备工作做完，我们可以开始动手安装了。Ollama的安装有两种主流方式：一种是直接用官方安装包，另一种是通过命令行进行静默安装。我会把两种方法都告诉你，你可以根据自己的习惯选择。

3.1 获取安装包与常规安装

最直接的方法是访问Ollama的官方网站（https://ollama.com），点击下载Windows版本。你会得到一个名为“OllamaSetup.exe”的文件，大概700多MB。双击运行它，就会启动一个图形化的安装向导。这个过程和安装QQ、微信没什么区别，一直点“下一步”就行，安装程序会自动处理所有依赖，并在后台启动Ollama服务。

安装完成后，你可能在桌面上找不到快捷方式。别慌，这是正常的。Ollama安装后是以系统服务的形式在后台运行的。你可以留意一下屏幕右下角的系统托盘（就是显示时间、音量的那个区域），应该会出现一个蓝色的、像鲸鱼尾巴一样的Ollama图标。这就代表服务已经启动成功了。你也可以在开始菜单里搜索“Ollama”，找到它的应用入口。

3.2 高级玩法：自定义路径与静默安装

对于喜欢更精细控制的朋友，我推荐使用命令行安装，这也是我常用的方式。这样做有两个巨大好处：一是可以自由选择安装目录，二是可以一键重装或部署。

首先，把下载好的“OllamaSetup.exe”放到一个你计划安装的目录下。比如，我在E盘创建了 E:\Softwares\AI\ 这个目录。然后，在这个目录下，我新建一个子文件夹叫 ollama，这就是我打算安装Ollama本体文件的地方。

接下来，打开命令提示符（CMD）或者更推荐使用PowerShell（以管理员身份运行）。使用 cd 命令切换到你的安装包所在目录：

cd E:\Softwares\AI\

然后，执行下面的安装命令：

.\OllamaSetup.exe /DIR="E:\Softwares\AI\ollama"

这个命令里的 /DIR 参数就是指定安装路径的关键。执行后，安装程序会启动，并自动将文件安装到你指定的 E:\Softwares\AI\ollama 文件夹里，而不是默认的C盘。等待安装进度条走完，就大功告成了。用这种方式，你对自己电脑的文件布局一清二楚，后续查找日志、管理配置都特别方便。

4. 核心配置：让Ollama更懂你的电脑

安装成功只是第一步，合理的配置才能让Ollama发挥出最大效能，尤其是管理那些“体重惊人”的模型文件。

4.1 设置模型的家：修改默认存储位置

这是最重要的一步配置，强烈建议你在第一次使用前就设置好。Ollama默认会把所有下载的模型都存放在系统用户的目录下（C:\Users\<你的用户名>\.ollama\models）。一个稍微大点的模型就好几GB，用不了多久你的C盘就会告急。

我们需要创建一个系统环境变量，告诉Ollama：“请把模型都存到那个又大又宽敞的D盘去！”。以Windows 10为例：

1. 在桌面“此电脑”图标上右键，选择“属性”。
2. 点击左侧的“高级系统设置”。
3. 在弹出的窗口右下角，点击“环境变量”按钮。
4. 在下面的“系统变量”区域，点击“新建”。
5. 变量名填写：OLLAMA_MODELS
6. 变量值填写：你想要存放模型文件夹的完整路径。比如，我想存在D盘的AI目录下，就填 D:\AI\Models\
7. 点击“确定”保存。

注意：这里填的路径，比如D:\AI\Models\，不需要你手动去创建这个文件夹。Ollama在首次下载模型时，会自动创建它。

设置完成后，务必重启一次你的电脑，或者至少重启一下Ollama服务（可以在系统托盘右键点击Ollama图标选择“Restart”），让这个环境变量生效。从此以后，所有新下载的模型都会乖乖地住进你指定的大房子里。

4.2 可选配置：为NVIDIA显卡开启加速

如果你有一张NVIDIA显卡，并且之前用 nvidia-smi 命令验证过，那么你可以让Ollama调用GPU来运行模型，速度会有质的飞跃。Ollama默认会尝试检测并使用CUDA。

但有时候，如果Ollama没有自动识别到你的CUDA环境，你可能需要手动确保两件事：

1. 安装正确的CUDA Toolkit：前往NVIDIA开发者官网，下载并安装与你显卡驱动版本兼容的CUDA Toolkit。安装时选择“自定义安装”，确保“CUDA”下的“Development”和“Runtime”组件被选中。
2. 验证Ollama是否使用GPU：安装配置好后，打开一个新的命令提示符，运行一个模型，并加上 --verbose 参数来查看详细日志。例如：

   ollama run llama2 --verbose
   

   在输出的日志信息里，寻找类似“Using GPU”或“CUDA”的字样。如果看到了，恭喜你，加速成功！

5. 模型管理实战：从拉取到对话

配置妥当，终于来到最好玩的环节——和AI模型聊天。Ollama把复杂的模型交互简化成了一条条直观的命令。

5.1 运行你的第一个模型

打开命令提示符（CMD）或PowerShell，输入以下命令：

ollama run llama2

这是Meta开源的Llama 2模型，一个非常经典的对话模型。当你第一次运行某个模型时，Ollama会去仓库里查找并下载它。你会看到下载进度条。下载速度取决于你的网络和模型大小（Llama2的7B版本大约4GB）。下载完成后，会自动进入一个交互式聊天界面。你可以直接输入问题，比如“用Python写一个快速排序函数”，模型就会开始生成回答。想退出聊天界面，输入 /bye 即可。

5.2 常用模型管理命令

Ollama的命令行工具非常强大，下面这些命令是我每天都会用到的：

• 列出所有已安装的模型：ollama list 这个命令会显示你本地所有模型的名称、大小、修改日期，一目了然。

• 拉取模型而不立即运行：ollama pull <模型名> 如果你只是想先下载模型，或者网络不好想慢慢下，可以用这个命令。比如 ollama pull codellama 会拉取Code Llama代码模型。

• 删除本地模型：ollama rm <模型名> 当你的硬盘空间紧张，或者想清理旧版本模型时使用。例如 ollama rm llama2:13b 会删除13B参数的Llama2版本。删除前请确认。

• 查看模型信息：ollama show <模型名> 这个命令会显示模型的详细信息，包括许可证、参数大小、使用的模板等。

• 复制/创建模型变体：ollama create <自定义模型名> -f <Modelfile路径> 这是进阶功能。Modelfile是一个配置文件，你可以基于一个现有模型，通过它来设置系统提示词（system prompt）、调整参数等，创建一个属于你自己的定制化模型。比如，你可以创建一个专门用于“客服语气回复”的模型变体。

5.3 模型选择与使用技巧

Ollama支持的模型库非常丰富，除了对话模型，还有代码模型、多模态模型等。对于初学者，我推荐从这几个开始尝试：

1. llama2 / llama3：通用对话模型，适合聊天、问答、创意写作。
2. codellama：专注于代码生成和理解，是程序员的得力助手。
3. qwen2.5：通义千问的开源版本，中文理解能力很强。
4. mistral 或 gemma2：体积相对较小但性能出色的模型，在资源有限的电脑上也能跑得不错。

使用中的一个小技巧：如果你觉得每次生成的回答太短或太长，可以在运行命令时加入参数。例如 ollama run llama2 --num-predict 512 会让模型生成最多512个token（可以粗略理解为字数）。更多的参数可以通过 ollama run --help 查看。

6. 进阶与维护：玩转Ollama生态

当你熟悉了基本操作后，可以探索一些更高级的用法，让Ollama更好地融入你的工作流。

6.1 作为API服务使用

Ollama不仅仅是个命令行玩具，它内置了完整的OpenAI兼容的API服务。这意味着你可以像调用ChatGPT的API一样，用代码来调用你本地的模型。 首先，确保Ollama服务在运行。然后，你就可以通过HTTP请求来和它交互了。例如，用curl命令测试一下：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "为什么天空是蓝色的？",
  "stream": false
}'

这会返回一个JSON格式的响应。更酷的是，你可以使用像OpenAI Python库、LangChain这样的流行框架，只需要把API的地址从 api.openai.com 改成 http://localhost:11434，就能无缝切换到你本地的Ollama模型上，开发自己的AI应用。

6.2 图形化界面（GUI）客户端

如果你不喜欢黑乎乎的命令行，市面上有很多优秀的第三方图形客户端可以连接Ollama。比如 Open WebUI（原名Ollama WebUI）和 Msty。它们提供了类似ChatGPT的网页聊天界面，支持多模型切换、对话历史管理、更丰富的参数调整滑块，用起来非常直观。通常你只需要在Ollama运行的情况下，通过Docker或直接运行一个客户端程序，就能在浏览器里享受更美观的聊天体验了。

6.3 彻底卸载与清理

如果你不再需要Ollama，或者想重新安装一个干净的版本，卸载过程很简单，但有几个地方需要注意，以免留下“垃圾文件”。

1. 主程序卸载：到Ollama的安装目录（如果你自定义了，就是那个目录；如果默认安装，通常在C:\Program Files\Ollama）下，找到 unins000.exe 或 Uninstall.exe，双击运行即可快速卸载主程序。
2. 手动清理残留：卸载程序不会自动删除两样东西：
   • 模型文件：就是你之前通过环境变量 OLLAMA_MODELS 设置的那个文件夹里的所有内容。如果需要释放磁盘空间，记得手动去删除整个模型文件夹。
   • 环境变量：系统里创建的 OLLAMA_MODELS 环境变量也需要你手动回到“系统属性 -> 环境变量”设置界面，找到并删除它。
3. 检查服务：偶尔，Ollama的后台服务可能没有完全移除。你可以按 Win + R，输入 services.msc 打开服务管理器，查找是否有名为“Ollama”的服务残留，如果有，将其停止并删除。

做完这些，Ollama就从你的电脑上完全消失了。整个安装、使用、卸载的流程走下来，你会发现Ollama确实极大降低了在个人电脑上体验大模型的门槛。它把复杂的技术细节封装起来，留给我们一个干净、强大的命令行接口。无论是出于学习、开发还是日常娱乐的目的，它都是一个值得你放入工具箱的利器。我最开始用它只是为了跑跑小模型，后来发现它的API兼容性让我能轻松地把很多在线AI工具的思路在本地复现一遍，这种自由探索的感觉，是在线服务给不了的。