Interacción a distancia con el computador a través de gestos manuales haciendo uso de una cámara Web

Abstract

En la vida cotidiana, las personas enriquecen la comunicación verbal a través de gestos. En la interacción por computador, los gestos son una alternativa a las interfaces tradicionales que permiten tener una comunicación mucho más intuitiva y natural.En esta memoria se han implementado los algoritmos necesarios para realizar detección, reconocimiento y seguimiento de una mano humana para interactuar con el computador sin usar el mouse, sólo a través de gestos, haciendo uso de una cámara Web de baja resolución. Se realiza una detección de color de piel utilizando un clasificador basado en una red neuronal artificial perceptrón multicapa (MLP) para distinguir los píxeles que son color de piel. Para la distinción del color de piel se hace uso del modelo de color HSV.Los experimentos efectuados muestran que el mecanismo implementado permite clasificar el color de piel con un 91% de exactitud, valor obtenido a través del uso de la matriz de confusión resultante de un entrenamiento de la red neuronal MLP.Se proponen dos técnicas para llevar a cabo el reconocimiento de las manos. Para el caso del reconocimiento de una mano se propone el uso de etiquetado, efectuada la segmentación de la imagen. Para el caso de ambas manos, se propone la utilización de una técnica de histograma propuesta en la literatura. El seguimiento de la mano reconocida se realiza en base a las coordenadas del centroide.Dentro de los resultados obtenidos, se destaca la capacidad de reconocer los desplazamientos de una mano, ya sea estando abierta o cerrada, con lo cual se permite controlar el desplazamiento del puntero del mouse, hacer click y arrastrar ventanas./ABSTRACT: In everyday life, people enrich verbal communication through gestures. In computerinteraction,gestures are an alternative to traditional interfaces that allow communication to be more intuitive and natural. In this work we have implemented the necessary algorithms for detection, recognition and tracking of a human hand to interact with the computer without using the mouse, only through gestures, using a low resolution webcam. Detection is performed by using a skin color classifier based on multilayer perceptron artificial neural network (MLP) to distinguish the pixels that are skin color. For the distinction of skin color we use the HSV color model. Experiments conducted show that the mechanism implemented to classify the color of skin with a 91% accuracy, value obtained through the use of the resultant confusion matrix of a training of the MLP neural network . Two techniques are proposed to carry out the recognition of the hands. For the case of recognition of a hand we propose the use of labeling, performed segmentation of the image. For the case of both hands, is proposed the use of an histogram technique proposed in the literature. The monitoring of the recognized hand is performed based on the coordinates of the centroid.Within the results obtained emphasize the ability to recognize the movement of his hand, whether remain open or closed, thereby allows you to control the movement of the mouse pointer, click and drag windows.