【免费下载】 PyAutoGUI 屏幕截图与图像识别功能详解

何红桔Joey

727人浏览 · 2025-06-03 09:11:38

何红桔Joey · 2025-06-03 09:11:38 发布

PyAutoGUI 屏幕截图与图像识别功能详解

【免费下载链接】pyautogui asweigart/pyautogui: 是一个用于自动化图形用户界面操作的 Python 库。适合在 Python 应用程序中实现自动化操作，例如自动点击、拖动、输入文字等。特点是提供了简单的 API，支持多种操作系统和屏幕分辨率，并且可以自定义自动化操作的行为。项目地址: https://gitcode.com/gh_mirrors/py/pyautogui

概述

PyAutoGUI 提供了强大的屏幕截图和图像识别功能，这些功能对于自动化测试、GUI 操作自动化等场景非常有用。本文将详细介绍 PyAutoGUI 中的截图功能和图像识别功能，帮助开发者更好地利用这些工具实现自动化操作。

屏幕截图功能

基本截图方法

PyAutoGUI 的 screenshot() 函数是获取屏幕截图的核心方法：

import pyautogui

# 获取截图并返回 Image 对象
im1 = pyautogui.screenshot()

# 获取截图并保存到文件
im2 = pyautogui.screenshot('my_screenshot.png')

在 1920×1080 分辨率的屏幕上，screenshot() 函数大约需要 100 毫秒完成截图操作。

区域截图

如果只需要截取屏幕的某一部分，可以使用 region 参数：

# 截取左上角 300×400 像素的区域
im = pyautogui.screenshot(region=(0, 0, 300, 400))

参数格式为 (左边界, 上边界, 宽度, 高度) 的四元组。

图像识别功能

基本识别方法

PyAutoGUI 可以在屏幕上查找指定的图像，这对于自动化点击按钮等操作非常有用：

# 在屏幕上查找 calc7key.png 图像
button_location = pyautogui.locateOnScreen('calc7key.png')

如果找到图像，返回一个包含 (left, top, width, height) 的四元组；如果未找到，会抛出 ImageNotFoundException。

获取图像中心点

可以直接获取图像在屏幕上的中心坐标：

# 获取图像中心坐标
x, y = pyautogui.locateCenterOnScreen('calc7key.png')

# 点击找到的图像中心
pyautogui.click(x, y)

# 更简洁的写法
pyautogui.click('calc7key.png')

置信度参数

当图像可能有微小变化时，可以使用 confidence 参数设置匹配精度（需要安装 OpenCV）：

# 设置 90% 的匹配置信度
button_location = pyautogui.locateOnScreen('calc7key.png', confidence=0.9)

高级识别功能

查找所有匹配项

如果需要查找屏幕上所有匹配的图像位置：

# 查找所有匹配位置
for pos in pyautogui.locateAllOnScreen('someButton.png'):
    print(pos)

# 转换为列表
positions = list(pyautogui.locateAllOnScreen('someButton.png'))

在指定区域查找

为了提高查找速度，可以限制查找区域：

# 只在左上角 300×400 区域内查找
pyautogui.locateOnScreen('someButton.png', region=(0, 0, 300, 400))

灰度匹配

使用灰度匹配可以提升约 30% 的查找速度，但可能增加误匹配：

button_location = pyautogui.locateOnScreen('calc7key.png', grayscale=True)

像素操作

获取像素颜色

可以获取屏幕上特定像素的颜色值：

# 方法一：通过截图对象
im = pyautogui.screenshot()
color = im.getpixel((100, 200))  # 返回 (R, G, B) 元组

# 方法二：直接获取
pix = pyautogui.pixel(100, 200)  # 返回 RGB 对象

像素颜色匹配

检查特定位置的颜色是否匹配预期：

# 精确匹配
pyautogui.pixelMatchesColor(100, 200, (130, 135, 144))

# 带容差的匹配（每个通道允许 ±10 的差异）
pyautogui.pixelMatchesColor(100, 200, (140, 125, 134), tolerance=10)