文本指南：基于特征重要性的文本选择方法提高长文本分类质量

抽象

在过去十年中，对于少于 512 个标记的文本实例，文本分类方法的性能有了很大的提高。 由于分析较长文本实例的计算成本很高，因此大多数最新研究的变换器模型都采用了此限制。 为了缓解这个问题并改进较长文本的分类，研究人员试图解决计算成本的根本原因，并提出了注意力机制的优化方案，这是每个 Transformer 模型的关键要素。 在我们的研究中，我们不追求长文本分类的最终目标，即一次分析整个文本实例的能力，同时以合理的计算成本保持高性能。 相反，我们提出了一种称为 Text Guide 的文本截断方法，其中将原始文本长度减少到预定义的限制，这种方法在保持低计算成本的同时提高了原始和半原始方法的性能。 文本指南受益于特征重要性的概念，这是一个来自可解释人工智能领域的概念。 我们证明了 Text Guide 可用于提高专为长文本分类设计的最新语言模型的性能，例如 Longformer。 此外，我们发现参数优化是 Text Guide 性能的关键，必须在部署方法之前进行。 未来的实验可能会揭示这种新方法提供的额外好处。