基于k近邻分类器ROC分析方法

论文摘要

接收机工作特性(Receiver Operating Characteristic,ROC)曲线以及曲线下面积(Area Under the ROC Curve,AUC)是评估二元决策模型必不可少的参考指标之一。它能反映命中率与虚警率之间的折中关系。类似地,对于三分类任务,学者提出三分类ROC分析,用接收机工作特性曲面以及曲面下体积(Volume Under the Surface,VUS)描述一个三元决策模型的性能。由于ROC分析具有对样本分布和分类错误成本不敏感的特性,现已被广泛用于医学决策,生物信号,信号处理,机器学习等领域。尽管ROC分析应用十分广泛,且具有一系列的优点,但在现实应用中却存在一系列的限制。首先,对于直接输出决策结果的离散型分类器,在进行ROC分析时只能得到ROC空间中的一个点,而不是一条曲线。这样实际上使得离散型分类器的ROC分析毫无意义。针对这一问题,本文介绍了对离散型分类器进行ROC分析的基本思路与方法。文章以K近邻分类器为例子,介绍离散型分类器的ROC分析方法。其次,ROC分析在实际的应用中更多的是以AUC及其方差作为评估分类器性能的指标。相对地,三分类任务则是计算VUS及其方差。传统的计算AUC和VUS的算法具有指数量级的算法复杂度。这样使得ROC分析在大数据任务中难以有效开展。本文针对这一问题,利用K近邻分类器的离散特性,提出使用Bootstrap方法从几何学的角度计算AUC、VUS以及它们的方差值。在保证算法精度的前提下,该算法的算法复杂度为常数量级。仿真结果表明,该算法执行效率明显优于传统无偏算法。ROC的应用大部分集中在评估分类器性能上。为了探索更多的ROC分析应用场景,文章以K近邻分类器参数选择以及故障诊断中的变点检测为例,尝试将ROC分析应用到这两个领域中。实验结果表明,ROC分析在以上两个应用场景中均有十分出色的表现。

论文目录

摘要

ABSTRACT

第一章绪论

1.1 课题的研究背景和意义

1.2 ROC分析研究现状

1.3 本文主要研究内容

1.4 本章小结

第二章分类问题与分类决策

2.1 分类问题

2.1.1 机器学习简介

2.1.2 分类问题简述

2.2 决策理论

2.2.1 统计与概率

2.2.2 期望损失与收益

2.2.3 判别函数

2.3 K近邻分类器

2.3.1 K近邻算法

2.3.2 距离度量

2.3.3 分类决策规则

2.3.4 k值选择

2.3.5 kd树

2.4 模型评估

2.4.1 训练误差与测试误差

2.4.2 评估方法

2.4.3 性能度量

2.5 本章小结

第三章二分类ROC分析与AUC估计

3.1 决策空间与ROC空间

3.2 二分类ROC曲线绘制

3.3 离散分类器ROC分析

3.4 AUC估计方法

3.4.1 参数法

3.4.2 非参数法

3.4.3 Bootstrap方法

3.5 仿真验证

3.6 本章小节

第四章三分类ROC曲线与VUS估计

4.1 观察器与决策空间

4.2 三分类ROC曲面绘制

4.3 VUS估计方法

4.3.1 参数法

4.3.2 非参数法

4.3.3 Bootstrap方法

4.4 仿真验证

4.5 本章小节

第五章 ROC分析的应用

5.1 K近邻分类器参数选择

5.1.1 实验步骤

5.1.2 实验结果与分析

5.2 基于ROC的变点检测方法

5.2.1 基于AUC的变点检测算法

5.2.2 实验结果分析

5.3 本章小结

结论

参考文献

攻读学位期间发表的论文

致谢

文章来源

类型: 硕士论文

作者: 杨俊杰

导师: 徐维超

关键词: 接收机工作特性,曲线下面积,曲面下体积,近邻分类器,方法

来源: 广东工业大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,电信技术

单位: 广东工业大学

分类号: TN850;O225

DOI: 10.27029/d.cnki.ggdgu.2019.000552

总页数: 73

文件大小: 3447K

下载量: 37

基于k近邻分类器ROC分析方法

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢