Aplicación de consenso en la evaluación comparativa de modelos de análisis de sentimientos.

Abstract

La evaluación del desempeño de modelos de análisis de sentimientos es crucial, pero se dificulta cuando no existen datos etiquetados. Esta tesis aborda esa limitación: cómo se pueden comparar modelos de forma confiable en ausencia de una “verdad” conocida? Para resolverlo, se propone una metodología innovadora para generar una etiqueta de consenso, aproximación a una “verdad probable”, aplicada a comentarios en español de la página de Facebook de Itaipu Binacional. Se evaluó el desempeño de tres modelos pre-entrenados basados en Transformers (Beto, Pysentimiento y Twitter-XML-RoBERTa) para clasificar sentimientos sin supervisión directa. Las etiquetas de consenso se generaron utilizando dos estrategias: la primera, por votación por mayoría simple con desempate por confianza; la segunda, mediante el operador SMA-OWA, que considera la agregación ponderada de las predicciones. Los resultados mostraron que Pysentimiento fue el modelo con mayor coincidencia con ambas etiquetas de consenso (93,18% ponderada y 93,52% SMA-OWA), obteniendo también los mejores valores globales en precisión y F1-Sscore macro. Beto, aunque con menor coincidencia, presentó mayor confianza, sugiriendo predicciones más arriesgadas. Twitter-XML-RoBERTa exhibió un rendimiento intermedio.