在这里插入图片描述

使用ollama工具本地部署Qwen32B模型

安装ollama

在这里插入图片描述
在这里插入图片描述
** ollama 只是一个大模型部署的工具，类似docker 拉去镜像模式**

ollama pull qwen2.5:7b 拉取模型
ollama list 查看环境

在这里插入图片描述
在这里插入图片描述

启动Qwen7b，启动时找到对应的NAME 执行即可，有docker基础的伙伴上手比较快

ollama run qwen2.5:7b

在这里插入图片描述
目前只是在终端问答，我们可以引入web 页面，原理其实就是绑定ollama 链接，进行转发，github上有很多种，上文讲解了基于docker 部署的软件，MaxKB 感觉过于复杂，今天讲解一下上手较快的：chatbox 以及 LM Studio

chatbox

支持各种版本以及网页端

在这里插入图片描述

选择设置按钮进行配置，选择ollama软件会自动匹配下载的大模型

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

LM Studio

也提供了很多版本支持，提供了大量的模型文件适配

在这里插入图片描述

无脑安装

在这里插入图片描述
完成后直接运行

右上角记得跳过

在这里插入图片描述

设置中文显示

s
支持市面上常见的大模型

在这里插入图片描述

推荐一个国内的模型库魔塔社区
国外的Hugging Face 网络有时候不太稳定

推荐一个比较好用的模型： 通义千问2.5-72B-Instruct，比较吃电脑内存

在这里插入图片描述
在这里插入图片描述

注意层级：/models/Publisher/Repository/
这种层级存放文件，官方默认

Qwen/Qwen1.5-72B-Chat-GGUF

下载完后加载不了！！！！哇哇哇哇，资源不足，准备下载32B的了

在这里插入图片描述

工欲善其事必先利其器

成功加载…

在这里插入图片描述

成功运行…

在这里插入图片描述
完结撒花！！！！！！！！！！！！！

下期出内网服务器基于A100显卡如何离线部署安装千亿级大模型！！！！

Logo
乐奇 Rokid 开放社区

更多推荐

cover

TestStar | 接入 AIUI 测试 30 天后，别拿别人的数算自己的账

avatar 乐奇 Rokid 开放社区
cover

用 AIUI 打造「免手出行助手」——一篇能跟着做完的智能体实战教程

avatar 乐奇 Rokid 开放社区
cover

让头部动作成为游戏机关：用 AIUI 做一台真正能“拉动”的弹珠机

avatar 乐奇 Rokid 开放社区