PiscCode构建Mediapipe 手势识别“剪刀石头布”小游戏

已于 2025-09-07 07:44:38 修改
阅读量756 收藏 8
点赞数 17
CC 4.0 BY-SA版权
分类专栏： MediaPipe PiscTrace PiscCode 文章标签： 计算机视觉 目标跟踪 人工智能 python opencv
于 2025-09-07 07:08:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43607107/article/details/151260341

在计算机视觉与人机交互领域，手势识别是一个非常有趣的应用场景。本文将带你用 Mediapipe 和 Python 实现一个基于摄像头的手势识别“剪刀石头布”小游戏，并展示实时手势与游戏结果。

1. 项目概述

本项目实现了一个基于摄像头的人机互动小游戏 —— 石头剪刀布 + OK 手势控制。玩家只需对着摄像头做出相应手势，系统便会自动识别并判定游戏结果，整个过程无需鼠标键盘操作，完全通过手势完成。

具体功能包括：

  • 实时手势检测
    借助 MediaPipe Hand Landmarker 模型，系统能够实时检测玩家的手部关键点，并通过几何计算判断玩家当前的手势类型。支持的手势包括：

    • 石头（Rock）

    • 剪刀（Scissors）

    • 布（Paper）

    • OK 手势（用于游戏重置）

  • 游戏逻辑

    • 当玩家展示 石头/剪刀/布 时，系统会让电脑随机选择一种出拳方式，并即时对比胜负。

    • 当玩家展示 OK 手势 时，系统会自动重置游戏，清除上一轮的结果，等待下一局。

  • 可视化效果

    • 在摄像头画面上实时绘制手部关键点与连线，帮助玩家直观了解系统的检测效果。

    • 在手部附近叠加文字标注，显示系统识别到的手势。

    • 在屏幕左上角动态显示：

      • 电脑的出拳选择

      • 本轮的胜负结果（玩家胜利、电脑胜利或平局）

2. MediaPipe 简介

MediaPipe 是由 Google Research 推出的一个开源跨平台机器学习框架，专注于实时的多模态应用（如视频、音频和传感器数据）的处理。它为开发者提供了一系列 预训练模型 和 高性能计算管道，在移动端、桌面端甚至 Web 环境中都能高效运行。

在本项目中，我们使用了 MediaPipe 的 Hand Landmarker 模型，它可以在单帧图像或视频流中检测到 21 个手部关键点（包括手指关节和指尖）。这些关键点的位置数据为手势识别提供了坚实的基础。

MediaPipe 的优势主要体现在：

  1. 高性能：底层针对 CPU/GPU 进行了优化，能在实时视频流中稳定运行。

  2. 跨平台：支持 Android、iOS、Windows、Linux 和 Web，适合快速开发跨平台应用。

  3. 模块化：提供了丰富的组件（如 Face Mesh、Pose、Hand Tracking 等），可以灵活组合使用。

  4. 易用性：Python API 简洁直观，适合科研、教学和快速原型开发。

因此，MediaPipe 不仅是手势识别领域的常用工具，也广泛应用于 人脸识别、姿态检测、表情分析、增强现实（AR）和虚拟试衣等场景。

3. 核心类：SimpleHandGestureGame

class SimpleHandGestureGame:
    def __init__(self, model_path="hand_landmarker.task", num_hands=1):
        # 初始化 Mediapipe HandLandmarker
        base_options = python.BaseOptions(model_asset_path=model_path)
        options = vision.HandLandmarkerOptions(base_options=base_options, num_hands=num_hands)
        self.detector = vision.HandLandmarker.create_from_options(options)
        self.computer_choice = None
        self.round_result = ""
        self.round_played = False

3.1 手势绘制 _draw_landmarks

def _draw_landmarks(self, rgb_image, detection_result):
    annotated_image = np.copy(rgb_image)
    if detection_result.hand_landmarks:
        for hand_landmarks in detection_result.hand_landmarks:
            proto_landmarks = landmark_pb2.NormalizedLandmarkList()
            proto_landmarks.landmark.extend([landmark_pb2.NormalizedLandmark(x=lm.x, y=lm.y, z=lm.z) for lm in hand_landmarks])
            solutions.drawing_utils.draw_landmarks(
                image=annotated_image,
                landmark_list=proto_landmarks,
                connections=mp.solutions.hands.HAND_CONNECTIONS,
                landmark_drawing_spec=solutions.drawing_styles.get_default_hand_landmarks_style(),
                connection_drawing_spec=solutions.drawing_styles.get_default_hand_connections_style()
            )
    return annotated_image

3.2 手势识别 _judge_gesture

我们通过手指关键点的伸直状态判断手势：

  • 石头(Rock)：全部手指弯曲

  • 剪刀(Scissors)：食指和中指伸直，其他弯曲

  • 布(Paper)：五指全部伸直

  • OK：拇指与食指形成圆圈，其余三指伸直

def _judge_gesture(self, hand_landmarks):
    def is_straight(tip, pip, mcp=None):
        if mcp:
            a, b, c = np.array([tip.x, tip.y]), np.array([pip.x, pip.y]), np.array([mcp.x, mcp.y])
            ba, bc = a - b, c - b
            cos_angle = np.dot(ba, bc) / (np.linalg.norm(ba) * np.linalg.norm(bc) + 1e-6)
            return np.arccos(np.clip(cos_angle, -1, 1)) * 180 / np.pi > 160
        else:
            return tip.y < pip.y

    thumb_straight = is_straight(hand_landmarks[4], hand_landmarks[2], hand_landmarks[1])
    index_straight = is_straight(hand_landmarks[8], hand_landmarks[6])
    middle_straight = is_straight(hand_landmarks[12], hand_landmarks[10])
    ring_straight = is_straight(hand_landmarks[16], hand_landmarks[14])
    pinky_straight = is_straight(hand_landmarks[20], hand_landmarks[18])
    total = sum([thumb_straight, index_straight, middle_straight, ring_straight, pinky_straight])

    # OK gesture
    thumb_tip, index_tip = np.array([hand_landmarks[4].x, hand_landmarks[4].y]), np.array([hand_landmarks[8].x, hand_landmarks[8].y])
    if np.linalg.norm(thumb_tip - index_tip) < 0.05 and middle_straight and ring_straight and pinky_straight:
        return "OK"

    if total == 0: return "Rock"
    if total == 2 and index_straight and middle_straight: return "Scissors"
    if total == 5: return "Paper"
    return "Undefined"

3.3 游戏逻辑 _play_game

def _play_game(self, player_choice):
    choices = ["Rock", "Scissors", "Paper"]
    if self.computer_choice is None:
        self.computer_choice = random.choice(choices)
    if player_choice == self.computer_choice:
        self.round_result = "Draw"
    elif (player_choice == "Rock" and self.computer_choice == "Scissors") or \
         (player_choice == "Scissors" and self.computer_choice == "Paper") or \
         (player_choice == "Paper" and self.computer_choice == "Rock"):
        self.round_result = "You Win"
    else:
        self.round_result = "Computer Wins"
    self.round_played = True

3.4 图像处理 do

最终的 do 方法负责：

  1. 读取摄像头帧

  2. 调用 Mediapipe 检测手势

  3. 绘制手部关键点和手势文字

  4. 显示电脑出拳及胜负结果

def do(self, frame, device=None):
    if frame is None: return None
    mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    detection_result = self.detector.detect(mp_image)
    annotated = self._draw_landmarks(mp_image.numpy_view(), detection_result)
    # ...绘制手势文字和游戏结果...
    return cv2.cvtColor(annotated, cv2.COLOR_RGB2BGR)

4. 快速体验

import cv2
import numpy as np
import mediapipe as mp
from mediapipe import solutions
from mediapipe.framework.formats import landmark_pb2
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
import random

class SimpleHandGestureGame:
    def __init__(self, model_path="文件地址/hand_landmarker.task", num_hands=1):
        """Initialize Mediapipe HandLandmarker and game state"""
        base_options = python.BaseOptions(model_asset_path=model_path)
        options = vision.HandLandmarkerOptions(base_options=base_options, num_hands=num_hands)
        self.detector = vision.HandLandmarker.create_from_options(options)
        self.computer_choice = None
        self.round_result = ""
        self.round_played = False

    def _draw_landmarks(self, rgb_image, detection_result):
        annotated_image = np.copy(rgb_image)
        if detection_result.hand_landmarks:
            for hand_landmarks in detection_result.hand_landmarks:
                proto_landmarks = landmark_pb2.NormalizedLandmarkList()
                proto_landmarks.landmark.extend([landmark_pb2.NormalizedLandmark(x=lm.x, y=lm.y, z=lm.z) for lm in hand_landmarks])
                solutions.drawing_utils.draw_landmarks(
                    image=annotated_image,
                    landmark_list=proto_landmarks,
                    connections=mp.solutions.hands.HAND_CONNECTIONS,
                    landmark_drawing_spec=solutions.drawing_styles.get_default_hand_landmarks_style(),
                    connection_drawing_spec=solutions.drawing_styles.get_default_hand_connections_style()
                )
        return annotated_image

    def _judge_gesture(self, hand_landmarks):
        """Determine hand gesture: Rock-Paper-Scissors + OK"""
        def is_straight(tip, pip, mcp=None):
            if mcp:
                a, b, c = np.array([tip.x, tip.y]), np.array([pip.x, pip.y]), np.array([mcp.x, mcp.y])
                ba, bc = a - b, c - b
                cos_angle = np.dot(ba, bc) / (np.linalg.norm(ba) * np.linalg.norm(bc) + 1e-6)
                return np.arccos(np.clip(cos_angle, -1, 1)) * 180 / np.pi > 160
            else:
                return tip.y < pip.y

        thumb_straight = is_straight(hand_landmarks[4], hand_landmarks[2], hand_landmarks[1])
        index_straight = is_straight(hand_landmarks[8], hand_landmarks[6])
        middle_straight = is_straight(hand_landmarks[12], hand_landmarks[10])
        ring_straight = is_straight(hand_landmarks[16], hand_landmarks[14])
        pinky_straight = is_straight(hand_landmarks[20], hand_landmarks[18])
        thumb, index, middle, ring, pinky = thumb_straight, index_straight, middle_straight, ring_straight, pinky_straight
        total = sum([thumb, index, middle, ring, pinky])

        # OK gesture
        thumb_tip, index_tip = np.array([hand_landmarks[4].x, hand_landmarks[4].y]), np.array([hand_landmarks[8].x, hand_landmarks[8].y])
        if np.linalg.norm(thumb_tip - index_tip) < 0.05 and middle and ring and pinky:
            return "OK"

        # Rock-Paper-Scissors
        if total == 0:
            return "Rock"
        if total == 2 and index and middle:
            return "Scissors"
        if total == 5:
            return "Paper"
        return "Undefined"

    def _play_game(self, player_choice):
        """Determine the result of Rock-Paper-Scissors round"""
        choices = ["Rock", "Scissors", "Paper"]
        if self.computer_choice is None:
            self.computer_choice = random.choice(choices)
        if player_choice == self.computer_choice:
            self.round_result = "Draw"
        elif (player_choice == "Rock" and self.computer_choice == "Scissors") or \
             (player_choice == "Scissors" and self.computer_choice == "Paper") or \
             (player_choice == "Paper" and self.computer_choice == "Rock"):
            self.round_result = "You Win"
        else:
            self.round_result = "Computer Wins"
        self.round_played = True

    def do(self, frame, device=None):
        """Process a single frame, overlay hand gesture and game result (vertically)"""
        if frame is None:
            return None
        mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
        detection_result = self.detector.detect(mp_image)
        annotated = self._draw_landmarks(mp_image.numpy_view(), detection_result)
        gesture_display = ""
        if detection_result.hand_landmarks:
            for hand_landmarks in detection_result.hand_landmarks:
                gesture = self._judge_gesture(hand_landmarks)
                if gesture == "OK":
                    self.computer_choice = random.choice(["Rock", "Scissors", "Paper"])
                    self.round_result = ""
                    self.round_played = False
                    gesture_display = "Game Ready..."
                elif gesture in ["Rock", "Scissors", "Paper"] and not self.round_played:
                    self._play_game(gesture)
                    gesture_display = f"{gesture}"
                else:
                    gesture_display = gesture
                h, w, _ = annotated.shape
                index_finger_tip = hand_landmarks[8]
                cx, cy = int(index_finger_tip.x * w), int(index_finger_tip.y * h)
                cv2.putText(annotated, gesture_display, (cx, cy - 20), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 255, 0), 2)

        if self.round_result:
            start_x, start_y, line_height = 30, 50, 40
            lines = [f"Computer Choice: {self.computer_choice}", f"Result: {self.round_result}"]
            for i, line in enumerate(lines):
                cv2.putText(annotated, line, (start_x, start_y + i * line_height), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (0, 0, 255), 3)

        return cv2.cvtColor(annotated, cv2.COLOR_RGB2BGR)

5. 总结

本文展示了如何用 Mediapipe HandLandmarker 快速搭建一个实时手势识别小游戏。通过关键点计算与简单逻辑判断，实现了石头、剪刀、布和 OK 手势识别，并结合游戏逻辑输出结果。

对 PiscTrace or PiscCode感兴趣？更多精彩内容请移步官网看看～🔗 PiscTrace

Opencv项目实战：24 手势识别的石头剪刀布
m0_62919535的博客
08-11 2229
简单的自娱自乐的计算机视觉互动游戏，石头剪刀布，使用random生成随机数，用于模拟AI窗口随机出拳，玩家窗口手势识别检测石头、剪刀、布三种手势，根据游戏规则，两方玩家进行比较，按下空格键即为游戏开始，玩家在游戏开始后，有三秒的时间思考出拳策略。计时器会显示在屏幕上。在时间结束后，玩家出拳并与AI进行比较，根据游戏规则判断胜负并累计分数。比起网上现在的形态学方法和搭建模型要简单许多。个人也可以体验一下视觉游戏的乐趣，检测手势的画面被我关了，你可以通过将findHands的参数draw设置为True即可。
mediapipe 手势节点识别自动控制音量；手势上下左右识别控制PPT翻页；石头剪刀布游戏
weixin_42357472的博客
06-26 1789
参考：https://www.computervision.zone/topic/volumehandcontrol-py/
HTML5实现剪刀石头布小游戏(附源码)
热门推荐
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
11-15 11万+
HTML5实现剪刀石头布小游戏，石头剪刀布源码，全网最全小游戏源码，游戏界面酷炫，按键提示操作，该剪刀石头布游戏使用html5和jQuery制作，具有使用简单、响应式、可定制、速度快、有积分记录的特点。这个小游戏是一个人机对战游戏，用户可以选择剪刀、石头和布三种选项中的一个，然后电脑随机出剪刀、石头和布，获胜者加一分。石头剪子布，是一种猜拳游戏。起源于中国，然后传到日本、朝鲜等地，随着亚欧贸易的不断发展它传到了欧洲，到了近现代逐渐风靡世界。代码注释完整，书写规范，各种风格都有，代码上手简单，代码独立，可以直
【优秀课设】基于OpenCV+MediaPipe的手势识别（数字、石头剪刀布等手势识别）
Mike Zhou的博客
03-02 1万+
基于OpenCV+MediaPipe的手势识别（数字、石头剪刀布等手势识别）
Mediapipe 手势识别
Zcc的博客
04-29 1万+
Mediapipe 实现手势识别（石头剪刀布）封装函数（可跳过）手势判断完整代码相关连接 环境：python3.8，pycharm2020 硬件：罗技c505e 基于前面一篇文章，我们已经能够实现手关键点的信息的提取，通过对这些信息的处理我们可以很轻松地进行手势识别。（完整代码见文末） 先看一波效果图: 封装函数（可跳过） 为方便调用，先将之前关键点提取相关函数分装成类 import cv2 import mediapipe as mp import time import math class ha
OPENCV手势动作识别-石头剪刀布
wangshuai610的博客
04-22 1万+
作为一个OpenCV初学者，为了锻炼能力，决定自己写个手势识别程序，结果比网上找的程序效果还好一些，所以分享出来~~ 为了得到更好的效果，我利用了背景减法。取摄像头的第一帧为背景，后面所有帧减去第一帧，这样大量减去了杂质。 比较方法用的matchShapes()函数，这个在之前博客里有介绍，这里就不说了。可以参考https://blog.csdn.net/wangshuai610/arti...
基于opencv与mediapipe手势关键点检测，并使用KNN近邻算法手势识别（石头、剪刀、布）的python代码实现
weixin_71894495的博客
07-28 2192
本文主要利用opencv读取摄像头的手势画面数据，利用mediapipe库提供的方法将手势图像画面转化为手部21个关节点的坐标值，通过KNN近邻算法训练坐标值的数据，从而识别石头剪刀布三个手势
PiscCode实现MediaPipe的手势识别技术详解
weixin_43607107的博客
09-07 884
MediaPipe框架的手势识别系统实现方法。该系统能够识别中国数字手势1-9、石头剪刀布以及OK手势，通过检测手部21个关键点并分析手指状态实现手势分类。文章详细阐述了系统架构、关键算法原理（包括手指伸直判断和手势逻辑定义）以及提高系统稳健性的优化策略（如相对位置判断、阈值优化等）。代码实现展示了如何利用MediaPipe的HandLandmarker模型进行手部关键点检测和可视化，并提供了完整的手势识别逻辑。
卷积神经网络手势识别之剪刀石头布
fencecat的博客
04-09 2888
神经网络训练实战石头剪刀布手势识别：加载数据，数据切分，数据预处理，构建网络，训练，测试，优化网络参数，投入使用
基于mediapipe的手势识别数字石头剪刀布等手势识别源码.zip
06-11
基于mediapipe的手势识别数字石头剪刀布等手势识别源码.zip 基于mediapipe的手势识别数字石头剪刀布等手势识别源码.zip 基于mediapipe的手势识别数字石头剪刀布等手势识别源码.zip 基于mediapipe的手势识别数字石头...
基于OpenCV+MediaPipe的手势识别（数字、石头剪刀布等手势识别）
03-03
基于OpenCV+MediaPipe的手势识别（数字、石头剪刀布等手势识别） 可识别左右手，共定义了15种手势，可以自行增加 https://blog.csdn.net/weixin_53403301/article/details/123232435
基于OpenCV的手势识别(剪刀、石头、布).rar
03-14
在这个项目中，“基于OpenCV的手势识别(剪刀、石头、布)”是一个实现了识别剪刀、石头、布这三种手势的应用。 首先，我们来了解一下OpenCV的基本概念。OpenCV是一个跨平台的库，提供了一系列C++和Python接口，用于...
opencv实现静态手势识别 opencv实现剪刀石头布游戏
12-23
本文实例为大家分享了opencv实现静态手势识别的具体代码，供大家参考，具体内容如下 要想运行该代码，请确保安装了：python 2.7,opencv 2.4.9 效果如下： 算法如下： 把图片先进行处理，处理过程：  1.用...
计算机视觉（十一）：边缘检测Canny
www_dong的博客
09-07 1270
为了实现这三个准则，Canny 算法分在进行任何边缘检测之前，首先要对图像进行平滑处理，以。Canny 算法使用来平滑图像。高斯滤波是一种加权平均，它使用一个高斯函数来定义权重，中心点的权重最大，离中心越远的像素权重越小。这一步的目的是确保后续的梯度计算不会被图像中的随机噪声所干扰。平滑后的图像会进行。梯度可以理解为像素值在水平和垂直方向上的变化率。梯度幅值表示该点像素变化的剧烈程度，即“边缘的强度”，而梯度方向则表示变化的方向。Canny 算法通常使用。
计算机视觉案例分析之银行卡号识别
m0_74977182的博客
09-08 867
本文介绍了使用OpenCV进行信用卡数字识别的完整流程。首先通过模板匹配建立数字模板库，然后对信用卡图像进行预处理（灰度化、顶帽操作、二值化等），定位数字区域并分割单个数字，最后与模板库匹配实现数字识别。文中详细讲解了图像处理的关键步骤，包括轮廓检测、形态学操作、模板匹配等技术，并提供了完整的Python代码实现。该系统能够自动识别信用卡类型和卡号，适用于银行等金融机构的信用卡识别需求。
基于YOLOv11的脑卒中目标检测及其完整数据集——推动智能医疗发展的新机遇！
crasher123的博客
09-01 749
在当今科技迅速发展的时代，脑卒中作为一种严重威胁人类健康的疾病，其早期的检测和及时的干预显得尤为重要。为此，本项目推出基于的脑卒中目标检测系统，结合完整的数据集，不仅提高了检测的效率，更为医疗界提供了强有力的技术支持！
【检索通知】2025年IEEE第二届深度学习与计算机视觉国际会议检索
最新发布
Shiyuan7的博客
09-08 213
2025年IEEE第二届深度学习与计算机视觉国际会议(DLCV 2025)论文集已完成EI检索，可以进入EI库查看下载文章。协办单位：淮北师范大学、湘南学院、湖南省计算机学会机器视觉与医学影像专业委员会、AC学术中心。出版信息：提交 EI Compendex 和 Scopus 数据库，往届论文集已完成EI检索。【IEEE会议】第三届计算机、视觉与智能技术国际会议（ICCVIT 2025）会议日期：2025年10月31日-11月2日。出版信息：提交EI数据库，往届论文集已检索。会议地点：中国 保定。
计算机视觉:基于 YOLOv8 与语音交互的视障人群物体定位辅助系统实现
XXQuagmireXX的博客
09-04 616
本项目旨在开发一个基于计算机视觉和语音交互的辅助系统，帮助视障人群感知周围环境。系统通过摄像头实时检测物体，估算其距离和方向，并以语音形式反馈给用户。核心功能包括语音指令识别、实时物体检测、距离估算、方向判断和语音反馈。 开发环境使用Python 3.8+及相关库（OpenCV、SpeechRecognition等），实现步骤包括：1）基础模块初始化；2）预设物体类别及尺寸数据；3）语音指令处理；4）语音反馈；5）核心物体检测与距离/方向计算功能。系统采用YOLOv8模型进行实时物体检测，结合摄像头参数计算
目标检测双雄：一阶段与二阶段检测器全解析
qiutesting的博客
09-05 1242
目标检测是计算机视觉中的一项重要技术，它的任务是从图像或视频中​​找出感兴趣的目标​​，并​​检测出它们的位置和大小​​。与简单的图像分类不同，目标检测需要同时解决两个问题：​​物体识别（分类）​​ 和​​物体定位（边界框回归）​​。这就好比不仅要认出图片中有猫和狗，还要用框标出它们各自在什么位置。选一阶段：如果你需要实时检测（如自动驾驶、直播监控），或资源有限（移动端、嵌入式设备）。选二阶段：如果你追求极致精度（如医疗诊断、精密制造），或目标尺寸差异大、背景复杂。
基于OpenCV的手势识别剪刀石头布小游戏
03-28
<think>嗯，用户想找用OpenCV做手势识别来制作剪刀石头布小游戏的资料或教程。首先，我得回忆一下之前看过的相关引用内容。引用2提到使用OpenCV和VC++，而引用3和4是基于Python的，用户可能更倾向于Python，因为示例代码是Python的。需要确定用户的技术栈偏好，但如果没有明确说明，可能需要提供多种方法，但考虑到用户提供的引用中有Python的例子，可能优先推荐Python方案。 接下来，需要整理实现步骤。根据引用2和3，主要步骤包括摄像头捕获、图像预处理、手势识别（轮廓分析、凸包检测、特征提取）、游戏逻辑和界面设计。引用3还提到了PyQt5做GUI，而引用4可能参考了具体的代码结构。 用户需要教程或实现方法，所以应该分步骤说明，并给出代码示例。比如，先介绍如何读取摄像头数据，然后预处理图像，比如高斯滤波、颜色空间转换（CrCb中的Cr分量），然后形态学处理，边缘检测，轮廓查找，凸包分析，最后根据面积比或周长比判断手势类型。 可能遇到的问题包括光照条件影响手势识别，不同手势的特征提取是否准确，以及如何将识别结果集成到游戏逻辑中。需要确保代码示例简洁，并指出关键点，比如引用2中的算法步骤。 另外，引用4提到了参考GitHub的代码，可能需要建议用户查看该仓库获取完整代码。同时，引用3提到结合深度学习或Haar级联分类器，但传统方法可能更适合初学者，所以先介绍传统方法，再提到深度学习的可能性。 最后，生成相关问题时要围绕实现细节、优化方法、技术难点和应用扩展，帮助用户深入理解。</think>### OpenCV手势识别实现剪刀石头布小游戏教程 #### **一、实现步骤** 1. **环境搭建** 安装Python、OpenCV、NumPy等库： ```bash pip install opencv-python numpy pyqt5 ``` 2. **摄像头捕获与预处理** ```python import cv2 cap = cv2.VideoCapture(0) # 打开摄像头 while True: ret, frame = cap.read() if not ret: break # 高斯滤波去噪 blurred = cv2.GaussianBlur(frame, (5,5), 0) # 转换到YCrCb颜色空间并提取Cr分量 ycrcb = cv2.cvtColor(blurred, cv2.COLOR_BGR2YCrCb) cr = ycrcb[:, :, 1] # Otsu阈值分割 _, skin_mask = cv2.threshold(cr, 0, 255, cv2.THRESH_OTSU) cv2.imshow("Skin Mask", skin_mask) if cv2.waitKey(1) == 27: break cap.release() cv2.destroyAllWindows() ``` 3. **手势轮廓分析** ```python # 形态学开运算去噪 kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5,5)) opened = cv2.morphologyEx(skin_mask, cv2.MORPH_OPEN, kernel) # 查找最大轮廓 contours, _ = cv2.findContours(opened, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) max_contour = max(contours, key=cv2.contourArea) if contours else None ``` 4. **凸包检测与特征计算** ```python if max_contour is not None: hull = cv2.convexHull(max_contour) # 计算轮廓面积与凸包面积比 area_contour = cv2.contourArea(max_contour) area_hull = cv2.contourArea(hull) ratio = area_contour / area_hull if area_hull > 0 else 0 # 根据比值判断手势 if ratio < 0.7: gesture = "Rock" elif 0.7 <= ratio < 0.85: gesture = "Scissors" else: gesture = "Paper" ``` 5. **游戏逻辑与界面集成** 使用PyQt5设计界面（引用3）： ```python from PyQt5.QtWidgets import QApplication, QLabel app = QApplication([]) label = QLabel("识别结果: " + gesture) label.show() app.exec_() ``` #### **二、关键算法说明** - **Cr分量+Otsu法**：利用肤色在Cr通道的分布特性分割手部区域[^2] - **轮廓面积比**：通过手势轮廓与凸包面积的比例区分石头（闭合）、剪刀（V形）、布（展开）[^3] - **形态学处理**：消除噪声干扰，优化分割效果[^2] #### **三、完整代码参考** GitHub开源项目（引用4）： https://github.com/az666/opencv-game/blob/master/shitoujiandaobu.py ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值