Aplicación web de retroalimentación de sesiones de clase y su eficacia en el rendimiento académico

Abstract

El presente informe de tesis, titulado ""Aplicación web de retroalimentación de sesiones de clase y su eficacia en el rendimiento académico"", aborda la problemática de la retroalimentación insuficiente en el programa de estudio de Ingeniería de Computación y Sistemas de la Universidad Privada Antenor Orrego, lo cual afecta negativamente el rendimiento académico de los estudiantes al no consolidar los conocimientos adquiridos. Esta investigación, realizada por Ana Cristina G. Otoya Sifuentes y José Javier Valencia Barriga, tiene como objetivo evaluar la eficacia de una aplicación web que integra Speech Service y GPT-3, facilitando la retroalimentación mediante la transcripción de clases, resúmenes automáticos y un chat interactivo. El experimento comparativo entre un grupo experimental y un grupo de control reveló un aumento notable en el desempeño académico del grupo que utilizó la aplicación, obteniendo una mejora del 30.43% de la preprueba a la posprueba, en contraste con el incremento de solo 5.26% del grupo de control. En cuanto a la meta de alcanzar la nota máxima, el grupo experimental avanzó un 17.5% hacia este objetivo, mientras el grupo de control obtuvo solo un 3.1%. Asimismo, se evaluó la usabilidad de aplicación conforme a la norma ISO/IEC 25000, obteniendo resultados favorables en todas sus subcaracterísticas, logrando una calificación general de “aceptable”. Por otro lado, las pruebas de transcripción obtuvieron una tasa de error de palabras (WER) de apenas el 3.55%. Finalmente, los resúmenes generados alcanzaron una excelente calidad según las métricas ROUGE: ROUGE-1 con un 69% de precisión, 64% de recall y 66% de F-measure; ROUGE-2 con 45% de precisión, 42% de recall y 44% de F-measure; y ROUGE-L con 65% de precisión, 61% de recall y 63% de F-measure. En conclusión, esta aplicación se presenta como una herramienta eficaz para mejorar el rendimiento académico, ofreciendo una experiencia accesible y optimizando el proceso de retroalimentación a través de inteligencia artificial.

This thesis report, entitled “Web application for class session feedback and its effectiveness on academic performance”, addresses the problem of insufficient feedback in the Computer and Systems Engineering program of study at the Universidad Privada Antenor Orrego, which negatively affects the academic performance of students by not consolidating the knowledge acquired. This research, conducted by Ana Cristina G. Otoya Sifuentes and José Javier Valencia Barriga, aims to evaluate the effectiveness of a web application that integrates Speech Service and GPT-3, facilitating feedback through the transcription of classes, automatic summaries and an interactive chat. The comparative experiment between an experimental group and a control group revealed a remarkable increase in the academic performance of the group that used the application, obtaining an improvement of 30.43% from pre-test to post-test, in contrast to the increase of only 5.26% of the control group. As for the goal of achieving the maximum score, the experimental group advanced 17.5% towards this objective, while the control group obtained only 3.1%. Likewise, the usability of the application was evaluated according to ISO/IEC 25000, obtaining favorable results in all its sub-characteristics, achieving an overall rating of “acceptable”. On the other hand, the transcription tests obtained a word error rate (WER) of only 3.55%. Finally, the generated summaries achieved excellent quality according to ROUGE metrics: ROUGE-1 with 69% accuracy, 64% recall and 66% F-measure; ROUGE-2 with 45% accuracy, 42% recall and 44% F-measure; and ROUGE-L with 65% accuracy, 61% recall and 63% F-measure. In conclusion, this application is presented as an effective tool to improve academic performance, offering an accessible experience and optimizing the feedback process through artificial intelligence