本地大模型deepseek搭建——训练自己的ai助手
一、下载ollama
先从官网下载本地安装
https://ollama.com/
安装默认只能安装C盘,后面会写如何移动到其他盘中
二、下载大模型
模型下载我们可以直接基于ollama官网提供的内容进行下载
https://ollama.com/search
这里建议下载使用deepseek或者千问(Qwen)
下载的方式也很简单,首先打开cmd
输入ollama验证软件是否安装成功
之后我们输入命令ollama run 大模型名称即可
需要注意的是我们选择模型的大小,比如deepseek
代码语言:javascript
代码运行次数:0
运行
AI代码解释
ollama run deepseek-r1:1.5b
需要在后面用冒号+模型大小,这个大小根据大家电脑容量来选择即可,越大模型越精确
安装好之后可以使用命令ollama list查看下载好的大模型
三、移动其他盘储存
因为该软件和模型都是默认安装C盘,无法更改,我们的C盘正常来说,也很难承受几十个g的模型,所以我们就需要进行一定的修改。
1、移动ollama本身
首先我们需要更改ollama软件的储存位置,默认安装位置是
C:\Users\XX\AppData\Local\Programs\Ollama
我们只需要把整个ollama文件夹剪切到其他的盘即可
移动之后我们需要到环境变量中修改一下参数
将你的ollama路径指定到你新的硬盘路径即可
打开cmd输入ollama正常出来即可。
2、移动模型
其实这里最关键的是大模型,这个我们可以用一个简单的方式来搞定。首先大模型的位置一般保存在
C:\Users\你的用户名.ollama\models
这个目录下
我们移动就将.ollama整个剪切走,然后关键的一步就是软链接,也就是相当于建立了一个快捷方式留在原来的地方,但是实际本体被我们移动到了其他硬盘。
用cmd命令就可以简单实现。
mklink /J “C:\Users\你的用户名.ollama” “D:\ollama.ollama”
记住,要先删除原本的.ollama才可以创建软连接
最后通过ollama list查看大模型是否还在来检验移动后是否出错即可。
四、运行
运行我们需要指定好具体的模型名称和大小
ollama run deepseek-r1:14b
这样运行等待片刻即可
五、工具下载
首先我们需要部署好ollama,还有我们需要的大模型,这些在可以参考之前的文章。
然后我们需要部署两个东西,一个是使用ollama部署omic-embed-text嵌入式模型
这个使用ollama就可以
代码语言:javascript
代码运行次数:0
运行
AI代码解释
ollama pull nomic-embed-text
其次我们需要下载AnythingLLM,直接在官网下载安装即可
https://anythingllm.com/desktop
更多推荐
所有评论(0)