Qwen3.5-4B-AWQ开源可部署：国产昇腾910B+MindSpore适配进展

1. 项目概述

Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级稠密模型，经过4bit AWQ量化后显存占用仅约3GB，可在RTX 3060/4060等消费级显卡上流畅运行。该模型在保持轻量化的同时，展现出令人惊喜的性能表现：

• 性能均衡：MMLU-Pro得分接近Qwen3-30B-A3B，OmniDocBench击败GPT-5-Nano
• 全能力覆盖：支持201种语言、原生多模态（图文）、长上下文、工具调用
• 部署友好：适配llama.cpp等多种推理框架，特别针对国产昇腾910B和MindSpore进行了优化

关键参数：

• 模型路径：/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit
• 推理引擎：vLLM
• WebUI端口：7860

2. 快速部署指南

2.1 环境准备

确保系统满足以下要求：

• NVIDIA显卡（推荐RTX 3060/4060或更高）
• 显存：≥3GB
• 操作系统：Linux（推荐Ubuntu 20.04+）
• Python 3.8+

2.2 一键启动服务

项目已配置supervisor管理，可通过以下命令操作：

# 启动服务
supervisorctl start qwen35-4b-awq

# 停止服务
supervisorctl stop qwen35-4b-awq

# 重启服务
supervisorctl restart qwen35-4b-awq

2.3 访问Web界面

服务启动后，通过浏览器访问：

http://localhost:7860

3. 服务管理与监控

3.1 服务状态检查

# 查看服务运行状态
supervisorctl status

3.2 日志查看

# 实时查看运行日志
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log

# 查看错误日志
tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log

3.3 开机自启配置

项目已预置开机自启功能：

• autostart=true：系统启动时自动运行
• autorestart=true：服务崩溃后自动恢复

4. 常见问题解决

4.1 GPU显存不足

若启动失败提示显存不足，可能是残留进程占用：

# 检查GPU占用
nvidia-smi

# 查找残留VLLM进程
ps aux | grep VLLM

# 终止进程后重试
kill -9 <PID>
supervisorctl start qwen35-4b-awq

4.2 手动调试模式

如需调试，可手动运行：

cd /root/Qwen3.5-4B-AWQ-4bit
/opt/miniconda3/envs/torch28/bin/python webui.py

5. 项目结构说明

/root/Qwen3.5-4B-AWQ-4bit/
├── webui.py              # 主程序入口
├── supervisor.conf       # 服务管理配置
└── logs/
    ├── webui.log         # 运行日志记录
    └── webui.err.log     # 错误日志记录

6. 总结

Qwen3.5-4B-AWQ-4bit作为一款轻量高效的国产大模型，具有以下核心优势：

1. 极致低资源：3GB显存即可运行，大幅降低部署门槛
2. 性能优异：在小模型尺寸下实现接近30B模型的性能表现
3. 全场景适配：从知识问答到多模态处理，覆盖广泛应用场景
4. 国产化支持：特别优化昇腾910B和MindSpore适配

对于希望快速部署轻量级大模型的开发者，Qwen3.5-4B-AWQ-4bit提供了极佳的平衡点，是构建智能客服、知识库系统、轻量Agent等应用的理想选择。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。