使用ollama快速搭建自己本地的deepseek服务
现在部署一个本地的deepseek已经变得很简单;
去ollama官网下载ollama安装,官网:Download Ollama on Windows,根据自己的系统,下载对应的安装包安装,我用的测试机是win系统,所以下载了OllamaSetup.exe;

直接双击安装,默认会安装到C盘里;(网上说使用命令行:OllamaSetup.exe /DIR=安装路径,会将ollama和模型放到指定目录里)
安装完了,打开cmd命令行,使用 ollama -v 可以查看版本,显示版本说明安装完成:

ollama的一些命令:

然后使用ollama下载deepseek模型,下载页左上角就有models,点击;

然后选择对应的模型,这里选择deepseek-r1:

点击下拉框,根据电脑性能选择合适版本,两张24G的4090可以使用70b模型(70b的Q4_K_M量化使用48G显存可以跑):

直接复制ollama的run命令到命令行里执行,就会自动下载并运行起来对应模型;(70b模型43G得等待下载一会)
(默认模型也会下载安装到C盘,可以先配置环境变量OLLAMA_MODELS指定模型目录,再重启ollama再下载安装模型)

因为我的已经安装过了,就不会再下载安装模型了,直接就会启动,等出现>>> Send a message (/? for help),就说明运行起来可以用了;

就可以使用聊天功能了:

网页输入localhost:11434也能看到ollama启动了:

但是默认的ollama只能使用localhost:11434或者127.0.0.1:11434访问,并且并行数只有一个,需要修改配置,windows版没找到配置文件,直接修改环境变量,资源管理器关掉ollama重启就ok了;(也可重启电脑)
直接添加三个系统环境变量,重启ollama:

OLLAMA_HOST,可以自己指定ip和端口;
OLLAMA_NUM_PARALLEL,指定并行数量;
OLLAMA_ORIGINS,指定允许访问ollama的来源;
命令行交互不美观,可以使用其他AI界面工具使用本地ollama,比较简单的就是chatbox,可以直接打开网页版,配置本地的ollama使用,chatbox官网:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
可以直接使用网页版:

在配置里配置一下自己的ollama以及模型,就可以聊天了:


开始聊天:

另外ollama也提供了api,可以编程http调用,官方api详细说明:ollama/docs/api.md at main · ollama/ollama · GitHub
python代码调用demo:(非流式)
import requests
import json
print('test')
json_data = {
'model': 'deepseek-r1:70b',
'prompt': '你是谁?',
'stream': False
}
res = requests.post('http://192.168.1.32:11434/api/generate', json=json_data)
print(res.text)
json_obj = json.loads(res.text)
print(json_obj.get('response'))
返回:

也可以用流式调用,几个字几个字的出现而不是等结果一次返回,非流式demo:
import requests
import json
json_data = {
'model': 'deepseek-r1:70b',
'prompt': '你是谁?',
'stream': True
}
with requests.post('http://192.168.1.32:11434/api/generate', json=json_data, stream=True) as r:
for chunk in r.iter_content(chunk_size=10240):
if chunk:
j_obj = json.loads(chunk)
print(j_obj.get('response'), end='')
正在执行过程中的返回:

更多推荐

所有评论(0)