树莓派5成功运行Qwen3后，我发现12年前的电影正成为现实
我是一个科幻电影迷，几乎所有的科幻电影都看过，而且还不止一遍。
比如机械姬，超能查派，我，机器人，黑客帝国都是很不错的电影。这些电影都是从科幻的角度去给观众呈现。不涉及生活和伦理。
但有一部电影，我觉得更能反映AI普及后的生活形态。斯派克·琼斯执导的《她》
严格意义上说，这是一部科幻爱情片。主题是反映在人工智能深度介入我们的生活后，引起的一些伦理问题。
男主西奥多·托姆布里是个作家，也是个很孤独人。在一次偶然的机会他接触到了最新的人工智能系统OS1的化身萨曼莎。
莎蔓莎是一个电子设备，但具备AI功能，能跟人进行各种话题的探讨。西奥多从此沉迷于和萨曼莎的聊天，甚至发展出了感情。
电影的上映时间是2013年，但影片的时间段设定的是2025年。当时我还想，人类在2025年真的能达到这个水平？能有个随时可以聊天的AI设备？
现在正好是2025年，gpt, deepseek, kiwi等一些大模型均已实现了AI聊天。但像电影中具备操作系统和AI 二合一的硬件聊天设备，似乎还没看到影子。
不过在我用树莓派上成功运行了Qwen3:06b模型后，我发现，离电影中的一切已经为时不远了。
可能有人有疑问，树莓派上能运行能说明个啥？
树莓派是一款小型开发板，被广泛的应用于开源智能家居系统，物联网系统，还有工业网络系统。这些场景都有个共同名词，就是IOT
包括微软最近开发的桌面AI搭子，也是用的树莓派
所以，树莓派上能够流畅运行大模型，那么可以预见的是，IOT市场的硬件未来都将AI化。
啰嗦了半天，下面来介绍树莓派上如何运行大模型，以及看看运行后的效果
01
树莓派的配置
我选择的是最新的树莓派5，4核2.4G的CPU
选购的套餐如下，唯一不同的是我用的是128G的SD卡。这样能存储得更多一点。可以下载一些比较大的模型。
然后下载Raspberry Pi这个官方烧录工具。
把SD卡装入读卡器，把读卡器插入笔记本，选择SD卡以及需要烧录的操作系统，直接烧录即可
烧录完后，把SD卡插入树莓派中，开机，树莓派就可以正常运行了。
整个过程就不在这里详细介绍了，有不清楚的可以私信v我。
02
运行大模型
第一步：下载ollama软件。
自动安装方式：
curl -fsSL https://ollama.com/install.sh | sh
但可能会遇到网速很慢的情况，比如我就半天没下载下来，最后采用的手动安装的方式。
手动安装的步骤在ollama的官网上有介绍
https://github.com/ollama/ollama/blob/main/docs/linux.md
先下载arm64的版本，因为树莓派是Arm Cortex芯片，是Arm架构的。
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
安装包解压到本地
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
解压后再bin目录下就能找到ollama的可执行程序
运行命令：
ollama serve #开启ollama进程
ollama run qwen3:0.6b #运行模型，第一次的时候会先拉取模型
等拉完模型后，就可以顺利的对话了。对话速度有点超出我的意料。年初我就在树莓派5上运行了deepseek-1.5b模型。运行qwen3的速度比deepseek-1.5b还快一些
感受下Qwen3：0.6b在树莓派上的速度
03
代码中调用大模型
光是这样用ollama运行大模型，还不够。我们需要的是应用能集成大模型，而非这种手动的方式唤起大模型。
正好ollama提供了python的库可以使用。我们可以编写代码来使用大模型
安装命令：
sudo pip3 install ollama --break-system-packages
如果速度觉得慢，可以把镜像站换成国内的。
安装后首先执行命令ollama serve 开启ollama。执行如下代码。
import ollamaif __name__== "__main__": MODEL = 'qwen3:0.6b' PROMPT = '你叫什么名字 /no_think' res=ollama.generate(model=MODEL, prompt=PROMPT) # print(res) print(f"\n{res['response']}") print(f"\n [INFO] Total Duration: {(res['total_duration']/1e9):.2f} seconds")
Qwen3 引入了“思考模式”和“非思考模式”，使模型能够在不同场景下表现出最佳性能。在思考模式模式下，模型会进行多步推理和深度分析，类似于人类在解决复杂问题时的“深思熟虑”。
在非思考模式模式下，模型优先追求响应速度和效率，适用于简单任务或实时交互。
在请求中加入 /no_think 表示退出思考模式。
在代码中加入了运行的时间统计，可以看出思考模式下的回复时间高达10s，而非思考模式的时间只有1s。
除此之外，ollama还提供了chat模式和模型进行对话
from ollama import chatstream = chat( model='qwen3:0.6b', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}], stream=True,)for chunk in stream: print(chunk['message']['content'], end='', flush=True)
详细操作参考：
https://github.com/ollama/ollama-python
写在最后
可能看到这，有小伙伴会问，这也没啥啊，不就是跑了个大模型么
要知道，树莓派上是没有GPU的，只是通用CPU。它的配置还不如很多儿童手表高。树莓派都能运行，很多其他IOT设备也能上大模型，况且大模型还在朝越来越小的方向发展。
树莓派是可以接很多配件的，摄像头，麦克风，扬声器等。如果我接上麦克风，扬声器，然后在代码中把麦克风采集到的声音转成文本，发给大模型。在把大模型的输出传给扬声器进行语音播放，这，不就是个不依赖网络，不依赖大模型api的本地聊天机器人了么。
何况，不同的配件，还能玩出不同的花样。不要忘了，qwen3还内置了MCP功能哦。这一次讲了如何运行，下一次来讲如何运行MCP。
AI 的未来 当然不止是大模型和应用，AI硬件更是星辰大海
以前老是说，软件定义硬件，在AI时代，是智能体定义硬件
#AI #AI工具 #DeepSeek #Qwen3 #大模型 #树莓派5 #IOT #AI硬件
**你好，我是江枫，本硕电子信息工程，主业程序员。AI时代，开启自己自媒体IP之路。毕业至今，换过一次工作，呆过2个公司。下一份工作：数字游民****
。
何况，不同的配件，还能玩出不同的花样。不要忘了，qwen3还内置了MCP功能哦。这一次讲了如何运行，下一次来讲如何运行MCP。
AI 的未来 当然不止是大模型和应用，AI硬件更是星辰大海
以前老是说，软件定义硬件，在AI时代，是智能体定义硬件
大模型岗位需求
大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
掌握大模型技术你还能拥有更多可能性：
• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；
• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；
• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；
• 更优质的项目可以为未来创新创业提供基石。
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
零基础入门AI大模型
今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】
1.学习路线图
如果大家想领取完整的学习路线及大模型学习资料包，可以扫下方二维码获取
👉2.大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。(篇幅有限，仅展示部分）
大模型教程
👉3.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（篇幅有限，仅展示部分，公众号内领取）
电子书
👉4.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（篇幅有限，仅展示部分，公众号内领取）
大模型面试
**因篇幅有限，仅展示部分资料，**有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】
**或扫描下方二维码领取 **
更多推荐
13
0- 0
已为社区贡献29条内容
所有评论(0)