跳到主要内容

文本指南:基于特征重要性的文本选择方法提高长文本分类质量

Jozef M. Zurada,博士 菲奥克,K. 卡沃夫斯基,W. 古铁雷斯-佛朗哥,E. 达瓦利,M. 威利亚莫夫斯基,M. 阿拉姆,T. 贾艾德,A.
IEEE访问。 七月26,2021

查看出版物

抽象

在过去十年中,对于少于 512 个标记的文本实例,文本分类方法的性能有了很大的提高。 由于分析较长文本实例的计算成本很高,因此大多数最新研究的变换器模型都采用了此限制。 为了缓解这个问题并改进较长文本的分类,研究人员试图解决计算成本的根本原因,并提出了注意力机制的优化方案,这是每个 Transformer 模型的关键要素。 在我们的研究中,我们不追求长文本分类的最终目标,即一次分析整个文本实例的能力,同时以合理的计算成本保持高性能。 相反,我们提出了一种称为 Text Guide 的文本截断方法,其中将原始文本长度减少到预定义的限制,这种方法在保持低计算成本的同时提高了原始和半原始方法的性能。 文本指南受益于特征重要性的概念,这是一个来自可解释人工智能领域的概念。 我们证明了 Text Guide 可用于提高专为长文本分类设计的最新语言模型的性能,例如 Longformer。 此外,我们发现参数优化是 Text Guide 性能的关键,必须在部署方法之前进行。 未来的实验可能会揭示这种新方法提供的额外好处。

Chinese (Simplified)EnglishGermanHindiRussianSpanish