Sistema traductor de comunicación bidireccional para mejorar la comunicación con las personas sordas de la Asociación De Sordos De La Libertad (2023).

Abstract

La presente investigación estuvo enfocada en desarrollar un sistema traductor de comunicación bidireccional para mejorar la comunicación entre una persona sorda de la Asociación De Sordos De La Libertad y una persona oyente de La Libertad, a partir de la reducción de los tiempos de reconocimiento de las palabras. El sistema se desarrolló para el uso mediante un escritorio en una aplicación web y se programó en Pycharm mediante el lenguaje de programación Python. Para su programación y desarrollo, se abordaron dos áreas principales: la traducción de señas a texto en la comunicación de persona sorda a oyente, y la traducción de voz a vídeo en la comunicación de persona oyente a sorda. En el primer caso, se utilizó visión artificial mediante bibliotecas como Cvzone, Keras, Numpy, Mediapipe y Cv2. Estas herramientas permitieron la detección, seguimiento y reconocimiento de gestos estáticos del alfabeto dactilológico del Lenguaje de Señas Peruanas realizado por una persona sorda frente a una cámara web. En el segundo caso, se emplearon las bibliotecas: speech_recognition para el reconocimiento de voz y moviepy para la manipulación de videos. Esto facilitó la traducción de la entrada de voz a texto y la generación de un video que concatenaba videos correspondientes a cada letra de la palabra reconocida. Con respecto al desarrollo de la aplicación web se utilizó Flask, para poder manejar desde el lado del servidor, las solicitudes HTTP del cliente (persona sorda u oyente desde el navegador web). El tipo de investigación que se siguió fue explicativa y pre-experimental. Se utilizó como método de análisis de datos para pruebas paramétricas la prueba t de Student (para muestras emparejadas). Los resultados de esta investigación demostraron que con el uso del sistema se reduce la media de los tiempos de reconocimiento de las palabras en un 50.14% para las personas oyentes de La Libertad y en un 80.61% para las personas sordas de la Asociación De Sordos. Asimismo, mediante la prueba t de Student se concluyó que estas reducciones en los tiempos de reconocimiento de las palabras son estadísticamente significativas.

"The present research focused on developing a bidirectional communication translator system to improve communication between a deaf person from the Association of Deaf People of La Libertad and a hearing person from La Libertad, by reducing word recognition times. The system was developed for use through a desktop web application and was programmed in PyCharm using the Python programming language. For its programming and development, two main areas were addressed: the translation of signs to text in communication from a deaf person to a hearing person, and the translation of voice to video in communication from a hearing person to a deaf person. In the first case, computer vision was used through libraries such as Cvzone, Keras, Numpy, Mediapipe, and Cv2. These tools allowed the detection, tracking, and recognition of static gestures of the dactylological alphabet of the Peruvian Sign Language performed by a deaf person in front of a webcam. In the second case, the libraries speech_recognition for voice recognition and moviepy for video manipulation were used. This facilitated the translation of voice input to text and the generation of a video that concatenated videos corresponding to each letter of the recognized word. For the development of the web application, Flask was used to handle client HTTP requests (deaf or hearing person from the web browser) from the server side. The type of research followed was explanatory and pre-experimental. Student's t-test (for paired samples) was used as a method of data analysis for parametric tests. The results of this research showed that with the use of the system, the average word recognition times were reduced by 50.14% for hearing people from La Libertad and by 80.61% for deaf people from the Association of Deaf People. Likewise, through Student's t-test, it was concluded that these reductions in word recognition times are statistically significant"