Java开发者 : 如何实现智能图像识别？

whisperzzza

2041人浏览 · 2024-10-29 15:46:17

whisperzzza · 2024-10-29 15:46:17 发布

总计30万奖金，Spring AI Alibaba 应用框架挑战赛开赛点此了解

图像识别在Java开发中的突破性进步

在Java开发场景中，图像识别功能被广泛应用于多种业务需求，如证件验证、商品识别等。传统上，这类任务主要依赖OCR技术实现，但其准确性和适应性往往不尽人意。随着大模型技术的发展，如今可以利用更强大的AI模型来执行图像识别任务，不仅大幅提升了识别精度和速度，还增强了对复杂背景和模糊图像的处理能力，使得应用范围更加广泛，用户体验显著提高。

Spring AI：简化Java中AI功能集成的框架

在过去，Java 缺乏一个优秀的 AI 应用框架，这使得开发人员在集成 AI 功能时面临诸多挑战。为了解决这一问题，Spring 团队推出了 Spring AI，这是一个专为调用各类 AI 组件设计的应用框架。Spring AI 通过引入一套统一的接口，实现了对不同 AI 提供者（如 OpenAI、Azure 和阿里云）的支持，开发者只需更改配置即可轻松切换 AI 实现。此外，Spring AI 完美兼容现有的 Spring 生态系统及 Java 的面向对象编程特性，进一步简化了开发过程。它不仅支持文本处理任务，还具备强大的图像识别能力，能够帮助开发者快速构建基于 AI 的应用程序。通过提供标准化的抽象层，Spring AI 大大减少了对接不同 AI 服务所需的文档查阅与代码编写工作量，让 Java 开发者可以更加专注于业务逻辑本身。

通义千问 Qwen VL 2.5 介绍

Qwen-VL是一款专为图像和视频识别设计的多模态大模型，在国内同类技术中处于领先地位。它不仅在国内的大模型评测平台思南（https://arena.opencompass.org.cn/）上表现出色，仅次于国际知名的GPT与Claude系列模型；

同时，在国外视觉大模型竞技场（https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard）里也稳居中国第一的位置。我们诚邀各界人士参与和支持这些竞技场活动，通过亲自测试体验，并投票支持您心中的最佳模型。

Spring AI Alibaba：简化阿里云AI服务接入的统一抽象层

Spring AI Alibaba 是一个针对Spring AI的实现，它基于Spring AI的API完成了阿里云百炼系列云产品的大模型接入。通过Spring AI Alibaba，开发者可以轻松地开发基于阿里云通义提供的聊天、图片或语音生成等AI应用。其核心优势在于提供了一套统一的抽象层，使得一次编写代码即可适配多种AI服务供应商（包括但不限于OpenAI、本地部署的Ollama框架）。这样不仅简化了不同AI平台间的迁移工作，还极大地减少了查阅文档和接口对接的工作量。特别地，对于使用国产大模型如阿里云的通义千问等来说，Spring AI Alibaba提供了强有力的支持。

使用Spring AI Alibaba实现图像识别功能的详细指南

为了集成Spring AI Alibaba完成一个具有Prompt和流式返回的图像识别功能，你需要按照以下步骤进行配置和编码。整个过程分为几个部分：前置准备、开通并配置阿里云服务、项目依赖添加、以及具体的代码实现。

前置准备

确保你的开发环境满足以下条件：

JDK版本为17或更高。

使用的Spring Boot版本为3.3.x或以上。

开通并配置阿里云服务

首先需要在阿里云上申请必要的API密钥和服务权限：

获取通义千问的API Key:

- 登录到阿里云百炼页面。

- 按照指示开通“百炼大模型推理”服务。

- 一旦服务被成功激活，进入控制台创建一个新的API Key，并妥善保存此Key。

配置API Key:
在你的本地环境中设置如下环境变量（替换${REPLACE-WITH-VALID-API-KEY}为你实际获得的API Key）:

export AI_DASHSCOPE_API_KEY=${REPLACE-WITH-VALID-API-KEY}

启用通义万象图像生成模型:

- 访问百炼控制台。

- 寻找并开启“通义万象”模型，注意该模型的英文名称qwen-vl-max-latest用于后续配置。

项目配置与依赖管理

接下来，在你的Spring Boot项目中添加所需的仓库及依赖项以支持AI功能：

Maven仓库配置

将下面的仓库定义加入到你的pom.xml文件中，以便能够访问Spring的快照版和里程碑版本库：

<repositories>
    <repository>
        <id>sonatype-snapshots</id>

        <url>https://oss.sonatype.org/content/repositories/snapshots</url>

        <snapshots>
            <enabled>true</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-milestones</id>

        <name>Spring Milestones</name>

        <url>https://repo.spring.io/milestone</url>

        <snapshots>
            <enabled>false</enabled>

        </snapshots>

    </repository>

    <repository>
        <id>spring-snapshots</id>

        <name>Spring Snapshots</name>

        <url>https://repo.spring.io/snapshot</url>

        <releases>
            <enabled>false</enabled>

        </releases>

    </repository>

</repositories>

添加依赖

向pom.xml中添加spring-ai-alibaba-starter依赖及其他必要组件：

<parent>
    <groupId>org.springframework.boot</groupId>

    <artifactId>spring-boot-starter-parent</artifactId>

    <version>3.3.4</version>

    <relativePath/>
</parent>

<dependencies>
    <dependency>
        <groupId>com.alibaba.cloud.ai</groupId>

        <artifactId>spring-ai-alibaba-starter</artifactId>

        <version>1.0.0-M3.1</version>

    </dependency>

    <!-- 其他依赖 -->
</dependencies>

编写控制器处理逻辑

创建一个REST控制器来处理图像上传请求，并利用已初始化的ChatClient实例与通义千问API交互执行图像分析任务。请参考以下示例代码：

@RestController
@RequestMapping("/ai")
public class ChatModelController {

    private final ChatModel chatModel;

    @Value("classpath:catexample.png")
    private Resource imageResource;

    public ChatModelController(ChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/imageRecognition")
    public Flux<String> imageRecognition(@RequestParam(value = "prompt", required = false, defaultValue = "这些是什么？") String prompt,
                                         HttpServletResponse response) throws Exception {
        response.setCharacterEncoding("UTF-8");

        List<Media> mediaList = List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageResource));
        UserMessage message = new UserMessage(prompt, mediaList);
        message.getMetadata().put(DashScopeChatModel.MESSAGE_FORMAT, MessageFormat.IMAGE);

        return chatModel.stream(
                new Prompt(message, DashScopeChatOptions.builder()
                        .withModel("qwen-vl-max-latest")
                        .withMultiModel(true)
                        .build()))
                .map(resp -> resp.getResult().getOutput().getContent());
    }
}

这段代码展示了如何通过HTTP GET请求接收用户输入的提示词（默认为"这些是什么？"），读取预设图片资源catexample.png，并通过调用通义千问API得到流式的响应结果。最后，将这些结果作为字符串流返回给客户端。