基于梯度下降和多指标融合的文本特征选择算法

doi:10.15966/j.cnki.dnydx.2023.05.011

全文: PDF( KB)
输出: BibTeX | EndNote (RIS)

摘要在文本特征选择方法中，常用的评价指标包括相关性、冗余度、词频及稀疏程度等。但由于指标种类及数量众多，导致评判标准无法统一，造成特征选择困难，因而现有算法一般仅使用一到两种指标对特征进行过滤及筛选。然而文本特征质量的高低对于文本处理模型的最终构建起着至关重要的作用，在选择时需要对特征进行多方面、多角度的考量。针对上述不足，首先针对目前文本处理常用的词汇特征和n-grams特征筛选出两组功能互补的评价指标，根据每个指标值将特征映射到坐标系中，通过在坐标系构建假设函数，并利用梯度下降法确定假设函数中的各个参数，使得假设函数能够将高质量特征与低质量特征区分开，把特征选择问题转化为低维空间的简单分类问题。在《人民日报》标注语料库及美国近当代英语语料库（COHA）中的对比实验结果表明，相对于单指标或双指标的文本特征选择算法，基于梯度下降和多指标融合的文本特征选择算法在保证时效性的同时，能够更准确地筛选出高质量的词汇及 n-grams 特征，并在支持向量机（Support Vector Machine， SVM）中验证其有效性。

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	（）
	作者相关文章

关键词 ：特征选择, 梯度下降, 多指标, 分类

年卷期日期: 2023-05-10 出版日期: 2024-01-24

引用本文:

刘世兴. 基于梯度下降和多指标融合的文本特征选择算法[J]. 电脑与电信, 2023, 1(5): 50-.
LIU Shi-xing. Text Feature Selection Algorithm Based on Gradient Descent and Multi-index Fusion. Computer & Telecommunication, 2023, 1(5): 50-.

链接本文:

https://www.computertelecom.com.cn/CN/10.15966/j.cnki.dnydx.2023.05.011 或 https://www.computertelecom.com.cn/CN/Y2023/V1/I5/50

[1]	来小孟　魏嘉银. 基于旋转注意力的命名实体识别模型[J]. 电脑与电信, 2024, 1(1): 21-25.
[2]	沈雅婷徐志豪. 随机森林在中文图书分类中的应用和改进 [J]. 电脑与电信, 2022, 1(8): 4-7.
[3]	刘逸琛. 基于变分自编码器的商品文本分类算法设计 [J]. 电脑与电信, 2022, 1(6): 37-.
[4]	李清旭张琛成雪. 基于特征融合的文本情感分类 [J]. 电脑与电信, 2022, 1(1-2): 1-6.
[5]	张丽. 基于SVM算法的宏病毒处理模型研究 [J]. 电脑与电信, 2022, 1(1-2): 41-45.
[6]	颜谦和颜珍平. 基于AIOT技术的垃圾分类系统方案设计[J]. 电脑与电信, 2021, 1(9): 45-.
[7]	沈雅婷邵莹卞恺. 智慧图书馆图书分类模型技术研究综述 [J]. 电脑与电信, 2021, 1(12): 9-13.
[8]	张宝燕. 基于深度卷积网络的地理图像分类研究 [J]. 电脑与电信, 2021, 0(10): 75-79.
[9]	朱宇轩吴腾飞陈崧. 城市生活垃圾分类自动提醒与查询装置设计[J]. 电脑与电信, 2021, 1(1): 7-10.
[10]	张慧芳宗彩乐张晓琳. 基于分布式框架下的中文文本特征分类[J]. 电脑与电信, 2019, 1(5): 1-7.
[11]	王文溥杜丽美. 大学计算机分类分层教学改革与实践[J]. 电脑与电信, 2019, 1(3): 74-76.
[12]	陈泽波. 基于分类的协同过滤图书推荐系统应用研究[J]. 电脑与电信, 2015, 1(9): 60-62.
[13]	宋倩王, 东明. 基于遗传算法及概率论的文本分类算法[J]. 电脑与电信, 2015, 1(3): 49-52.
[14]	杨靖, 曹永锋. RadarSat-2 全极化数据土地覆盖分类精度评价[J]. 电脑与电信, 2015, 1(1-2): 18-20.
[15]	张晓艳华英 . 文本挖掘的方法及应用研究[J]. , 2011, 1(12): 0-0.