1. 为什么要在RK3588上部署DeepSeek模型

RK3588作为一款面向边缘计算的高性能SoC，搭载了6TOPS算力的NPU，是部署AI模型的理想平台。而DeepSeek作为近期备受关注的开源大语言模型，其1.5B和7B版本特别适合在资源受限的边缘设备上运行。

在实际项目中，我经常遇到需要在嵌入式设备上部署语言模型的需求。传统的云端部署方案虽然简单，但存在延迟高、隐私保护难等问题。本地部署不仅能解决这些问题，还能充分利用RK3588的硬件加速能力。

2. 两种部署方案概述

在RK3588上部署DeepSeek主要有两种方式：Ollama和RKLLM。这两种方案各有特点，适合不同的应用场景。

Ollama是一个开源的大模型运行框架，支持多种模型的一键部署。它的最大优势是简单易用，不需要复杂的配置就能运行。我在多个项目中使用过Ollama，发现它特别适合快速原型开发和功能验证。

RKLLM是瑞芯微官方提供的工具链，专门针对其NPU进行了优化。通过RKLLM部署的模型可以充分利用RK3588的硬件加速能力，获得更好的性能表现。不过配置过程相对复杂，需要模型转换和量化等步骤。

3. Ollama部署实战

3.1 安装与配置

在RK3588上安装Ollama非常简单。首先确保开发板运行的是Ubuntu或Debian系统，然后执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，可以通过以下命令验证安装是否成功：

ollama -v

3.2 运行DeepSeek模型

Ollama支持多种DeepSeek模型版本，对于RK3588这样的嵌入式平台，建议从1.5B参数版本开始：

ollama run deepseek-r1:1.5b

这个命令会自动下载模型并启动交互界面。在我的测试中，下载1.5B模型大约需要2GB存储空间，首次运行时会花费一些时间初始化。

3.3 性能实测与分析

使用Ollama运行DeepSeek时，我通过top命令监控系统资源使用情况，发现CPU利用率接近100%，而NPU基本处于闲置状态。这说明Ollama默认使用CPU进行推理。

对于简单的问答任务，1.5B模型的响应时间在3-5秒左右。虽然能满足基本需求，但在处理复杂问题时响应会明显变慢。增大模型参数可以提升回答质量，但会显著增加响应时间。

4. RKLLM部署实战

4.1 环境准备

RKLLM部署需要先在x86主机上完成模型转换，再将转换后的模型部署到RK3588开发板。首先需要安装RKLLM-Toolkit：

pip3 install rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl

4.2 模型转换与量化

从Hugging Face下载原始模型后，需要进行格式转换。以下是一个典型的转换脚本：

from rkllm.api import RKLLM

model_path = "DeepSeek-R1-Distill-Qwen-1.5B"
rkllm = RKLLM()
rkllm.load_huggingface(model_path)
rkllm.export_rkllm("DeepSeek-R1-1.5B.rkllm")

转换过程可能需要10-30分钟，具体取决于模型大小和主机性能。建议使用W4A16量化配置，在精度和性能之间取得平衡。

4.3 部署与性能测试

将转换后的模型拷贝到开发板后，使用以下命令运行：

./llm_demo DeepSeek-R1-1.5B.rkllm 2048 4096

实测发现，使用NPU加速后，同样的1.5B模型响应时间缩短到1-2秒，CPU利用率降至30%左右。通过npu-smi工具可以看到NPU的三个核心都在工作，算力利用率达到60-70%。

5. 性能对比分析

5.1 响应速度

在相同1.5B模型配置下：

• Ollama(CPU): 平均响应时间4.2秒
• RKLLM(NPU): 平均响应时间1.5秒

NPU加速带来了近3倍的性能提升。对于7B模型，这个差距会更加明显。

5.2 资源占用

资源类型	Ollama	RKLLM
CPU利用率	90-100%	20-30%
内存占用	2.1GB	1.8GB
NPU利用率	0%	60-70%

RKLLM方案能更好地利用硬件资源，特别是在长时间运行场景下，CPU负载的降低意味着系统可以同时处理其他任务。

5.3 推理精度

由于RKLLM需要进行量化，理论上会损失一些精度。但在实际问答测试中，两种方案的输出质量差异不大。对于大多数应用场景，量化带来的精度损失可以接受。

6. 应用场景建议

根据我的项目经验，给出以下建议：

1. 快速原型开发：选择Ollama

• 开发测试阶段
• 功能验证
• 资源受限的小型应用

2. 生产环境部署：选择RKLLM

• 需要实时响应的应用
• 多任务并发场景
• 长时间运行的边缘设备

对于需要更高精度的场景，可以考虑在RKLLM中使用更高的量化位宽，或者采用模型蒸馏等技术来优化小模型的表现。

7. 常见问题解决

在实际部署过程中，我遇到过几个典型问题：

1. 内存不足：运行7B模型时出现OOM

• 解决方案：增加swap空间或使用更小的模型

2. NPU驱动问题：RKLLM运行时提示驱动错误

• 解决方案：更新到最新的固件和驱动版本

3. 模型转换失败：某些层不支持

• 解决方案：尝试不同的量化配置或模型版本

对于想要深入优化的开发者，建议关注模型剪枝和量化技术，这些方法可以进一步提升在嵌入式设备上的运行效率。