5分钟上手LLaVA：零代码构建智能视觉问答系统

房迁伟

944人浏览 · 2025-08-23 11:49:22

房迁伟 · 2025-08-23 11:49:22 发布

5分钟上手LLaVA：零代码构建智能视觉问答系统

【免费下载链接】LLaVA [NeurIPS'23 Oral] Visual Instruction Tuning: LLaVA (Large Language-and-Vision Assistant) built towards GPT-4V level capabilities. 项目地址: https://gitcode.com/gh_mirrors/ll/LLaVA

你是否曾因需要复杂编程知识而无法快速实现图像识别与问答功能？是否想在本地部署一个能理解图片内容的AI助手却苦于技术门槛？本文将带你用3个终端命令、5分钟时间，零代码搭建一个功能完备的视觉问答系统，让你的电脑拥有"看图说话"的能力。

读完本文你将获得：

无需编程基础，通过简单命令启动视觉问答服务
学会在本地部署LLaVA模型，保护数据隐私
掌握多模型并行部署与对比方法
了解如何在低配置GPU上运行大模型的实用技巧

什么是LLaVA

LLaVA（Large Language-and-Vision Assistant）是一款开源的视觉语言模型，能像人类一样理解图片内容并回答相关问题。它通过视觉指令调优技术，实现了接近GPT-4V的能力，支持图像描述、物体识别、场景分析等多种视觉任务。

LLaVA的核心优势在于：

多模态理解：同时处理图像和文本信息
本地部署：无需依赖云服务，保护数据隐私
低资源需求：支持4/8位量化，普通GPU也能运行
开源免费：完全开放的模型和代码，商业使用无忧

官方文档：README.md | 模型库：docs/MODEL_ZOO.md

环境准备

在开始前，请确保你的系统满足以下基本要求：

操作系统：Linux（Windows和macOS用户请参考docs/Windows.md和docs/macOS.md）
Python环境：3.10版本
显卡要求：至少4GB显存（推荐8GB以上）

首先克隆项目代码库并安装依赖：

git clone https://gitcode.com/gh_mirrors/ll/LLaVA
cd LLaVA
conda create -n llava python=3.10 -y
conda activate llava
pip install --upgrade pip
pip install -e .

如果计划进行模型训练，还需安装额外依赖：

pip install -e ".[train]"
pip install flash-attn --no-build-isolation

快速启动视觉问答服务

LLaVA的服务架构采用控制器-工作节点模式，需要依次启动控制器、Web界面和模型工作节点三个组件。

1. 启动控制器

控制器（Controller）是整个服务的核心，负责协调Web界面和模型工作节点之间的通信。打开第一个终端，执行：

python -m llava.serve.controller --host 0.0.0.0 --port 10000

控制器启动后会在本地10000端口监听请求，无需额外配置。

2. 启动Web界面

Web界面（Gradio Web Server）提供用户友好的交互界面，让你可以通过浏览器上传图片并提问。打开第二个终端，执行：

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

启动成功后，会显示一个本地URL（通常是http://localhost:7860），复制该URL在浏览器中打开，你会看到LLaVA的Web界面。此时模型列表可能为空，因为我们还没有启动模型工作节点。

3. 启动模型工作节点

模型工作节点（Model Worker）是实际执行视觉问答任务的组件，负责加载AI模型并处理请求。打开第三个终端，根据你的GPU配置选择以下命令之一：

基础启动命令（适合12GB以上显存）

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-7b

低显存启动命令（适合8GB左右显存）

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-7b --load-4bit

多GPU启动命令（适合多GPU环境）

CUDA_VISIBLE_DEVICES=0,1 python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-13b

模型加载需要几分钟时间，取决于你的网络速度和硬件配置。当看到"Uvicorn running on..."提示时，表示模型已准备就绪。此时刷新Web界面，就能在模型列表中看到刚刚启动的模型。

服务架构代码：llava/serve/

服务架构示意图

mermaid

使用Web界面进行视觉问答

模型启动后，就可以开始使用视觉问答功能了。在浏览器中打开Web界面，你会看到如下界面元素：

模型选择器：右上角可以选择已加载的LLaVA模型
图片上传区：中央区域可拖拽或点击上传图片
对话输入框：底部输入问题
历史记录区：显示过往对话内容

使用步骤：

点击"上传图片"按钮选择一张图片（或直接拖拽图片到上传区）
在输入框中输入关于图片的问题，例如："这张图片中有什么物体？"
点击"发送"按钮，等待模型回答

尝试用这张图片提问：llava/serve/examples/extreme_ironing.jpg，看看LLaVA能否识别出这个有趣的场景！

命令行模式使用LLaVA

如果你更喜欢命令行界面，LLaVA也提供了CLI工具可以直接使用。在终端中执行以下命令：

python -m llava.serve.cli \
    --model-path liuhaotian/llava-v1.5-7b \
    --image-file "llava/serve/examples/waterview.jpg" \
    --load-4bit

命令执行后，你会看到类似下面的交互界面：

CLI工具代码：llava/serve/cli.py

高级技巧：多模型并行部署

LLaVA支持同时部署多个模型，方便对比不同模型的回答效果。只需为每个模型启动一个独立的工作节点，使用不同的端口即可：

# 启动7B模型（端口40000）
python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path liuhaotian/llava-v1.5-7b

# 启动13B模型（端口40001）
python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40001 --worker http://localhost:40001 --model-path liuhaotian/llava-v1.5-13b

启动多个模型后，在Web界面的模型选择器中就能切换不同模型，对比它们对同一问题的回答差异。