创新科技：桌面系统用户识别与DJ社交网络运用

# 创新科技：桌面系统用户识别与DJ社交网络运用 ## 1. 桌面系统用户识别技术 ### 1.1 传统桌面系统问题与新方案提出 传统桌面系统在小型会议或团队协作场景中，能让用户通过触摸和手势操作信息。但在多用户操作时，对象的方向可能让用户难以理解内容。以往通过在椅子或用户身上安装传感器来识别用户位置的方法较为麻烦，还会限制用户姿势。 为解决这些问题，研究提出了一种通过图像识别估算用户位置的技术，并构建了包含该技术的桌面系统。此系统使用受挫全内反射（FTIR）多点触控面板，通过图像识别获取用户触摸操作的触摸点和手部区域信息，建立触摸点与手的关联，进而估算用户位置。同时还实现了一个照片对象操作应用，可根据用户位置估算结果调整照片对象方向。 ### 1.2 系统配置 该桌面系统的配置如下： - 采用FTIR方法进行触摸点识别的多点触控面板。 - 桌子下方安装红外网络摄像头，通过镜子捕捉桌面的红外图像。 - 连接到个人电脑（PC）的投影仪，从桌子下方将图像投射到丙烯酸面板上，丙烯酸面板上粘贴描图纸作为屏幕。 - 桌子上方天花板安装红外灯，用于获取手部区域信息，手部会阻挡红外光束形成阴影，由网络摄像头捕捉。 ### 系统配置图示 ```mermaid graph LR; A[PC] --> B[投影仪]; B --> C[丙烯酸面板]; D[红外网络摄像头] --> C; E[红外灯] --> C; ``` ### 1.3 用户位置估算技术 #### 技术概述 在桌面系统中，用户通常从桌子边缘伸手操作对象。系统利用FTIR触摸点识别，将触摸点识别为白光，手部区域识别为阴影。通过亮度值与背景图像区分，提取触摸区域和手部区域。由于手部区域包含触摸区域，可根据手部区域信息确定手的伸展方向，从而估算用户位置。 #### 估算模型 - 触摸区域（TA）、触摸点（TP）和手影（HS）的位置关系：TP是通过计算TA的重心确定的，手区域Hand定义为TA和HS的并集，TP是Hand的元素。 - 技术步骤：首先研究TP和Hand的归属关系，然后确定Hand从图像的哪个边缘伸展，最后通过该方向与触摸点的对应关系估算用户位置。 ### 位置关系图示 ```mermaid graph LR; A[手影HS] --> B[触摸区域TA]; B --> C[触摸点TP]; ``` #### 估算技术 当桌面上可能存在多个手部区域时，通过标记连接像素的区域为每个手部区域分配标签L。对于特定的触摸点TP，可通过其坐标提取对应的标签L[TP(x, y)]，从而确定对应的手部区域。由于Hand是与图像某边缘相连的连续区域，确定该边缘就能确定手的伸展方向。 ### 1.4 系统实