Saltar al contenido principal

Guía de texto: mejora de la calidad de la clasificación de texto extenso mediante un método de selección de texto basado en la importancia de la característica

Dr. Jozef M. Zurada Fiok, K. Karwowski, W. Gutiérrez-Franco, E. Davalli, M. Wiliamowski, M. Ahram, T. Al-Juaid, A.
IEEE Access. Julio 26, 2021

Ver publicación

Resumen

El rendimiento de los métodos de clasificación de texto ha mejorado mucho durante la última década para instancias de texto de menos de 512 tokens. Este límite ha sido adoptado por la mayoría de los modelos de transformadores de última generación debido al alto costo computacional de analizar instancias de texto más largas. Para mitigar este problema y mejorar la clasificación de textos más extensos, los investigadores han buscado resolver las causas subyacentes del costo computacional y han propuesto optimizaciones para el mecanismo de atención, que es el elemento clave de todo modelo de transformador. En nuestro estudio, no estamos persiguiendo el objetivo final de la clasificación de texto extenso, es decir, la capacidad de analizar instancias de texto completo a la vez mientras se conserva un alto rendimiento a un costo computacional razonable. En su lugar, proponemos un método de truncamiento de texto llamado Guía de texto, en el que la longitud del texto original se reduce a un límite predefinido de una manera que mejora el rendimiento sobre los enfoques ingenuos y semi-ingenuos al tiempo que se preservan los bajos costos computacionales. Text Guide se beneficia del concepto de importancia de las características, una noción del dominio de la inteligencia artificial explicable. Demostramos que Text Guide se puede utilizar para mejorar el rendimiento de modelos de lenguaje recientes diseñados específicamente para la clasificación de textos largos, como Longformer. Además, descubrimos que la optimización de parámetros es la clave para el rendimiento de Text Guide y debe realizarse antes de implementar el método. Los experimentos futuros pueden revelar beneficios adicionales proporcionados por este nuevo método.