DICO - Robot semihumanoide inteligente traductor del alfabeto de la Lengua de Señas del Paraguay

Abstract

En el Paraguay son escasas las personas que conocen la lengua de señas. Esta situación provoca dificultades a las personas con discapacidad auditiva para interactuar con su entorno. El presente trabajo tiene como objetivo construir un robot semihumanoide que auxilie en el aprendizaje y la traducción del alfabeto perteneciente a la lengua de señas del Paraguay. Este prototipo de robot puede ser ubicado en lugares públicos como bibliotecas, o salas de clase como herramienta de motivación y expansión de la enseñanza de la lengua de señas. Para la construcción física se imprimieron piezas en 3D de código abierto del proyecto InMoov. Luego, para lograr el movimiento de las extremidades del robot se utilizaron servomotores y módulos PCA9685. Para el reconocimiento de imágenes se optó por el modelo de red neuronal basado en Yolov4 y como lenguaje de programación se utilizó Python. La ejecución de sistema se realiza en la minicomoutadora Raspberry Pi 4b. El sistema posee dos funcionalidades principales. La funcionalidad de traducción de seña a texto que consiste en la identificación de las señas capturadas por la cámara. Primeramente, se generó una base de datos con más de 3800 imágenes de señas del alfabeto paraguayo. Esta base de datos se utilizó para realizar el entrenamiento de una red neuronal. Posteriormente, se desarrolló el programa de reconocimiento en tiempo real, donde es implementada la red entrenada que permite identificar las señas realizadas frente a la cámara. La segunda funcionalidad es la traducción de texto a seña que consiste en la reproducción de los movimientos correspondientes a cada letra del alfabeto de señas introducida a través de la interfaz de usuario. El robot construido es capaz de reconocer el 100% y de reproducir el 88,5% de las señas del alfabeto, esto fue validado con un profesor de la organización LSPy. En las pruebas realizadas en lugares públicos se obtuvieron resultados positivos por parte de los usuarios. El trabajo cuenta con una publicación en el V Encuentro de Investigadores organizada por la Sociedad Científica del Paraguay llevada a cabo en noviembre del 2020.