统计模式识别 第3版PDF|Epub|txt|kindle电子书版本网盘下载

统计模式识别 第3版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 统计模式识别绪论1

1.1 统计模式识别1

1.1.1 引言1

1.1.2 基本模型2

1.2 解决模式识别问题的步骤3

1.3 问题讨论4

1.4 统计模式识别的方法5

1.5 基本决策理论6

1.5.1 最小错误贝叶斯决策规则6

1.5.2 最小错误贝叶斯决策规则——拒绝分类8

1.5.3 最小风险贝叶斯决策规则10

1.5.4 最小风险贝叶斯决策规则——拒绝分类11

1.5.5 Neyman-Pearson决策规则11

1.5.6 最小最大决策13

1.5.7 讨论14

1.6 判别函数15

1.6.1 引言15

1.6.2 线性判别函数16

1.6.3 分段线性判别函数17

1.6.4 广义线性判别函数17

1.6.5 小结19

1.7 多重回归19

1.8 本书梗概21

1.9 提示及参考文献21

习题22

第2章 密度估计的参数法24

2.1 引言24

2.2 分布参数估计24

2.2.1 估计法24

2.2.2 预测法25

2.3 高斯分类器25

2.3.1 详述25

2.3.2 高斯分类器插入估计的推导27

2.3.3 应用研究举例28

2.4 处理高斯分类器的奇异问题29

2.4.1 引言29

2.4.2 朴素贝叶斯29

2.4.3 投影到子空间30

2.4.4 线性判别函数30

2.4.5 正则化判别分析31

2.4.6 应用研究举例32

2.4.7 拓展研究33

2.4.8 小结34

2.5 有限混合模型34

2.5.1 引言34

2.5.2 混合判别模型35

2.5.3 正态混合模型的参数估计36

2.5.4 正态混合模型协方差矩阵约束38

2.5.5 混合模型分量的数量39

2.5.6 期望最大化算法下的极大似然估计40

2.5.7 应用研究举例44

2.5.8 拓展研究46

2.5.9 小结46

2.6 应用研究47

2.7 总结和讨论49

2.8 建议49

2.9 提示及参考文献49

习题50

第3章 密度估计的贝叶斯法52

3.1 引言52

3.1.1 基本原理53

3.1.2 递归计算53

3.1.3 比例性54

3.2 解析解54

3.2.1 共轭先验概率54

3.2.2 方差已知的正态分布的均值估计55

3.2.3 多元正态分布的均值及协方差矩阵估计58

3.2.4 未知类先验概率的情形62

3.2.5 小结63

3.3 贝叶斯采样方案64

3.3.1 引言64

3.3.2 梗概64

3.3.3 贝叶斯分类器的采样类型65

3.3.4 拒绝采样65

3.3.5 均匀比66

3.3.6 重要性采样67

3.4 马尔可夫链蒙特卡罗方法69

3.4.1 引言69

3.4.2 吉布斯（Gibbs）采样器69

3.4.3 Metropolis-Hastings算法75

3.4.4 数据扩充78

3.4.5 可逆跳跃马尔可夫链蒙特卡罗方法79

3.4.6 切片采样80

3.4.7 MCMC举例——正弦噪声估计82

3.4.8 小结84

3.4.9 提示及参考文献85

3.5 贝叶斯判别方法85

3.5.1 标记训练数据85

3.5.2 无类别标签的训练数据86

3.6 连续蒙特卡罗采样88

3.6.1 引言88

3.6.2 基本方法89

3.6.3 小结92

3.7 变分贝叶斯方法93

3.7.1 引言93

3.7.2 描述93

3.7.3 分解为因子的变分近似95

3.7.4 简单的例子96

3.7.5 模型选择中的运用99

3.7.6 拓展研究与应用100

3.7.7 小结101

3.8 近似贝叶斯计算101

3.8.1 引言101

3.8.2 ABC拒绝采样102

3.8.3 ABC MCMC采样103

3.8.4 ABC总体蒙特卡罗采样104

3.8.5 模型选择105

3.8.6 小结106

3.9 应用研究举例106

3.10 应用研究107

3.11 总结和讨论108

3.12 建议108

3.13 提示及参考文献109

习题109

第4章 密度估计的非参数法111

4.1 引言111

4.1.1 密度估计的基本性质111

4.2 k近邻法112

4.2.1 k近邻分类器112

4.2.2 推导114

4.2.3 距离度量的选择116

4.2.4 最近邻法决策规则的性质117

4.2.5 线性逼近排除搜索算法118

4.2.6 分支定界搜索算法：kd树120

4.2.7 分支定界搜索算法：ball树126

4.2.8 剪辑方法129

4.2.9 应用研究举例130

4.2.10 拓展研究131

4.2.11 小结132

4.3 直方图法132

4.3.1 直方图自适应数据133

4.3.2 独立性假设（朴素贝叶斯）133

4.3.3 Lancaster模型134

4.3.4 最大权值相关树134

4.3.5 贝叶斯网络137

4.3.6 应用研究举例：朴素贝叶斯文本分类139

4.3.7 小结141

4.4 核函数方法142

4.4.1 有偏估计144

4.4.2 延伸到多元145

4.4.3 平滑参数的选择146

4.4.4 核函数的选择148

4.4.5 应用研究举例148

4.4.6 拓展研究149

4.4.7 小结150

4.5 用基函数展开151

4.6 copula方法152

4.6.1 引言152

4.6.2 数学基础152

4.6.3 copula函数153

4.6.4 copula概率密度函数的估计154

4.6.5 简单举例155

4.6.6 小结156

4.7 应用研究157

4.7.1 比较研究159

4.8 总结和讨论159

4.9 建议160

4.10 提示及参考文献160

习题161

第5章 线性判别分析163

5.1 引言163

5.2 两类问题算法163

5.2.1 总体思路163

5.2.2 感知准则164

5.2.3 Fisher准则167

5.2.4 最小均方误差法168

5.2.5 拓展研究172

5.2.6 小结173

5.3 多类算法174

5.3.1 总体思路174

5.3.2 错误修正法174

5.3.3 Fisher准则：线性判别分析175

5.3.4 最小均方误差法177

5.3.5 正则化181

5.3.6 应用研究实例181

5.3.7 拓展研究182

5.3.8 小结182

5.4 支持向量机183

5.4.1 引言183

5.4.2 两类线性可分数据问题183

5.4.3 两类线性不可分数据问题186

5.4.4 多类支持向量机188

5.4.5 支持向量机回归189

5.4.6 具体实施191

5.4.7 应用研究举例193

5.4.8 小结194

5.5 logistic判别194

5.5.1 两类问题194

5.5.2 极大似然估计195

5.5.3 多类logistic判别196

5.5.4 应用研究举例197

5.5.5 拓展研究197

5.5.6 小结198

5.6 应用研究198

5.7 总结和讨论198

5.8 建议199

5.9 提示及参考文献199

习题199

第6章 非线性判别分析——核与投影法202

6.1 引言202

6.2 径向基函数203

6.2.1 引言203

6.2.2 模型的确定204

6.2.3 指定函数的形式205

6.2.4 中心位置206

6.2.5 平滑参数207

6.2.6 权值的计算207

6.2.7 模型阶次的选择209

6.2.8 简单径向基函数210

6.2.9 一些调整210

6.2.10 径向基函数的性质212

6.2.11 应用研究举例212

6.2.12 拓展研究213

6.2.13 小结214

6.3 非线性支持向量机214

6.3.1 引言214

6.3.2 二分类214

6.3.3 核函数的类型215

6.3.4 模型选择216

6.3.5 多类支持向量机217

6.3.6 概率估计217

6.3.7 非线性回归218

6.3.8 应用研究举例219

6.3.9 拓展研究219

6.3.10 小结220

6.4 多层感知器220

6.4.1 引言220

6.4.2 多层感知器结构的确定221

6.4.3 多层感知器权值的确定222

6.4.4 多层感知器的建模能力226

6.4.5 logistic分类227

6.4.6 应用研究举例228

6.4.7 贝叶斯多层感知器网络229

6.4.8 投影寻踪231

6.4.9 小结231

6.5 应用研究232

6.6 总结和讨论234

6.7 建议234

6.8 提示及参考文献235

习题235

第7章 规则和决策树归纳法238

7.1 引言238

7.2 决策树238

7.2.1 引言238

7.2.2 决策树的构造241

7.2.3 拆分规则的选择241

7.2.4 终止拆分过程244

7.2.5 为终端节点分配类标签245

7.2.6 决策树剪枝（含实施示例）245

7.2.7 决策树构造方法250

7.2.8 其他问题251

7.2.9 应用研究举例252

7.2.10 拓展研究252

7.2.11 小结253

7.3 规则归纳253

7.3.1 引言253

7.3.2 从决策树生成规则255

7.3.3 用连续覆盖算法进行规则归纳256

7.3.4 应用研究举例259

7.3.5 拓展研究260

7.3.6 小结260

7.4 多元自适应回归样条260

7.4.1 引言260

7.4.2 递归分割模型260

7.4.3 应用研究举例263

7.4.4 拓展研究263

7.4.5 小结263

7.5 应用研究264

7.6 总结和讨论265

7.7 建议265

7.8 提示及参考文献266

习题266

第8章 组合方法268

8.1 引言268

8.2 分类器组合方案特性269

8.2.l特征空间269

8.2.2 层次272

8.2.3 训练程度273

8.2.4 成员分类器的形式273

8.2.5 结构274

8.2.6 优化274

8.3 数据融合274

8.3.1 体系结构275

8.3.2 贝叶斯方法276

8.3.3 奈曼-皮尔逊（Neyman-Pearson）公式277

8.3.4 可训练规则278

8.3.5 固定规则278

8.4 分类器组合方法279

8.4.1 乘积规则279

8.4.2 和式规则280

8.4.3 最小、最大及中值组合分类器281

8.4.4 多数表决281

8.4.5 Borda数282

8.4.6 在类别预测上训练组合分类器282

8.4.7 叠加归纳284

8.4.8 专家混合器284

8.4.9 bagging286

8.4.10 boosting287

8.4.11 随机森林289

8.4.12 模型平均290

8.4.13 方法小结295

8.4.14 应用研究举例295

8.4.15 拓展研究296

8.5 应用研究297

8.6 总结和讨论297

8.7 建议298

8.8 提示及参考文献298

习题299

第9章 性能评价300

9.1 引言300

9.2 性能评价300

9.2.1 性能测度300

9.2.2 判别力301

9.2.3 可靠性306

9.2.4 用于性能评价的ROC曲线307

9.2.5 总体漂移和传感漂移311

9.2.6 应用研究举例312

9.2.7 拓展研究313

9.2.8 小结314

9.3 分类器性能的比较315

9.3.1 哪种方法最好315

9.3.2 统计检验316

9.3.3 错分代价不定情况下的比较规则316

9.3.4 应用研究举例318

9.3.5 拓展研究318

9.3.6 小结319

9.4 应用研究319

9.5 总结和讨论319

9.6 建议320

9.7 提示及参考文献320

习题320

第10章 特征选择与特征提取322

10.1 引言322

10.2 特征选择323

10.2.1 引言323

10.2.2 对特征选择方法的表述326

10.2.3 评估方法326

10.2.4 选择特征子集的搜索算法333

10.2.5 全搜索：分支定界法334

10.2.6 顺序搜索337

10.2.7 随机搜索340

10.2.8 马尔可夫覆盖340

10.2.9 特征选择的稳定性341

10.2.10 应用研究举例342

10.2.11 拓展研究343

10.2.12 小结343

10.3 线性特征提取344

10.3.1 主成分分析344

10.3.2 Karhunen-Loève变换351

10.3.3 应用研究举例357

10.3.4 拓展研究357

10.3.5 小结358

10.4 多维尺度分析358

10.4.1 经典尺度分析358

10.4.2 计量多维尺度359

10.4.3 次序尺度分析360

10.4.4 算法362

10.4.5 用于特征提取的多维尺度分析363

10.4.6 应用研究举例364

10.4.7 拓展研究364

10.4.8 小结365

10.5 应用研究365

10.6 总结和讨论366

10.7 建议367

10.8 提示及参考文献367

习题368

第11章 聚类371

11.1 引言371

11.2 分层聚类法372

11.2.1 单链接方法372

11.2.2 完全链接方法374

11.2.3 平方和方法375

11.2.4 通用合并算法375

11.2.5 分层聚类法的性质376

11.2.6 应用研究举例376

11.2.7 小结377

11.3 快速分类377

11.4 混合模型378

11.4.1 模型描述378

11.4.2 应用研究举例379

11.5 平方和方法380

11.5.1 聚类准则380

11.5.2 聚类算法381

11.5.3 矢量量化385

11.5.4 应用研究举例392

11.5.5 拓展研究393

11.5.6 小结393

11.6 谱聚类393

11.6.1 图论初步393

11.6.2 相似矩阵395

11.6.3 聚类应用396

11.6.4 谱聚类算法396

11.6.5 拉普拉斯矩阵的形式396

11.6.6 应用研究举例397

11.6.7 拓展研究398

11.6.8 小结398

11.7 聚类有效性398

11.7.1 引言398

11.7.2 统计检验399

11.7.3 缺失类结构400

11.7.4 各聚类的有效性400

11.7.5 分级聚类401

11.7.6 各单聚类的有效性401

11.7.7 划分402

11.7.8 相关准则402

11.7.9 选择聚类个数404

11.8 应用研究405

11.9 总结和讨论407

11.10 建议408

11.11 提示及参考文献409

习题410

第12章 复杂网络411

12.1 引言411

12.1.1 特征411

12.1.2 属性412

12.1.3 问题阐述414

12.1.4 描述性特征414

12.1.5 概要414

12.2 网络的数学描述415

12.2.1 图矩阵415

12.2.2 连通性416

12.2.3 距离测度416

12.2.4 加权网络416

12.2.5 中心测度416

12.2.6 随机图417

12.3 社区发现417

12.3.1 聚类方法418

12.3.2 Girvan-Newman算法419

12.3.3 模块化方法421

12.3.4 局部模块化422

12.3.5 小集团过滤423

12.3.6 应用研究举例424

12.3.7 拓展研究424

12.3.8 小结424

12.4 链路预测425

12.4.1 链路预测方法425

12.4.2 应用研究举例426

12.4.3 拓展研究427

12.5 应用研究427

12.6 总结和讨论428

12.7 建议428

12.8 提示及参考文献428

习题428

第13章 其他论题429

13.1 模型选择429

13.1.1 相互独立的训练集与测试集429

13.1.2 交叉验证430

13.1.3 贝叶斯观点430

13.1.4 Akaike信息准则430

13.1.5 最短描述长度431

13.2 缺值数据432

13.3 离群值检测和鲁棒方法432

13.4 连续变量与离散变量的混合433

13.5 结构风险最小化和Vapnik-Chervonenkis维数434

13.5.1 期望风险边界434

13.5.2 Vapnik-Chervonenkis维数435

参考文献436