信息论基础PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1信息的基本概念1

1.1.1信息论的产生1

1.1.2信息的基本概念2

1.2香农信息论研究的内容4

1.2.1通信系统模型4

1.2.2香农信息论的主要内容7

1.3香农信息论研究的进展与应用9

1.3.1香农信息论创立的背景9

1.3.2香农的主要贡献10

1.3.3香农信息论研究进展10

1.3.4香农信息论的应用12

思考题13

第2章 离散信息的度量14

2.1自信息和互信息14

2.1.1自信息14

2.1.2互信息17

2.2信息熵的基本概念19

2.2.1信息熵19

2.2.2联合熵与条件熵20

2.2.3相对熵21

2.2.4各类熵之间的关系22

2.3信息熵的基本性质23

2.3.1凸函数及其性质23

2.3.2熵的基本性质25

2.3.3熵函数的唯一性29

2.3.4有根概率树与熵的计算29

2.4平均互信息31

2.4.1平均互信息的定义31

2.4.2平均互信息的性质33

2.4.3平均条件互信息36

本章小结38

思考题39

习题40

第3章 离散信源44

3.1离散信源的分类与数学模型44

3.1.1离散信源的分类44

3.1.2离散无记忆信源数学模型45

3.1.3离散有记忆信源数学模型46

3.1.4离散平稳信源数学模型46

3.2离散无记忆信源的扩展47

3.2.1等长消息扩展47

3.2.2变长消息扩展47

3.3离散平稳信源的熵48

3.3.1单符号信源的熵48

3.3.2等长无记忆扩展源的熵48

3.3.3变长无记忆扩展源的熵49

3.3.4平稳有记忆信源的熵50

3.4有限状态马尔可夫链51

3.4.1马氏链的基本概念51

3.4.2齐次马氏链52

3.4.3马氏链状态分类54

3.4.4马氏链的平稳分布55

3.5马尔可夫信源57

3.5.1马氏源的基本概念57

3.5.2马氏源的产生模型59

3.5.3马氏链N次扩展源熵的计算60

3.5.4马氏源符号熵的计算62

3.6信源的相关性与剩余度64

3.6.1信源的相关性65

3.6.2信源的剩余度65

3.6.3文本信源66

本章小结69

思考题69

习题69

第4章 连续信息与连续信源74

4.1连续随机变量的熵74

4.1.1连续随机变量的离散化74

4.1.2连续随机变量的熵75

4.1.3连续随机变量差熵的性质76

4.1.4连续随机变量的相对熵78

4.2离散时间高斯随机变量的熵78

4.2.1一维高斯随机变量的熵79

4.2.2多维独立高斯随机矢量的熵79

4.2.3多维相关高斯随机矢量的熵79

4.2.4高斯马尔可夫过程的熵率80

4.3连续最大熵定理82

4.3.1限峰值最大熵定理82

4.3.2限平均功率最大熵定理83

4.3.3最大熵率定理83

4.3.4熵功率84

4.4连续随机变量之间的平均互信息85

4.4.1连续随机变量之间的平均互信息85

4.4.2连续随机变量之间平均互信息的性质86

4.5离散集与连续随机变量之间的互信息88

4.5.1离散事件与连续事件之间的互信息88

4.5.2离散与连续随机变量之间的平均互信息88

4.6几种重要的连续信源89

4.6.1音频信源89

4.6.2语音信源90

4.6.3图像信源91

4.6.4视频信源92

本章小结93

思考题94

习题94

第5章 无失真信源编码98

5.1概述98

5.1.1信源编译码器模型98

5.1.2信源编码的分类99

5.1.3分组码100

5.1.4无损信源编码系统101

5.2定长码102

5.2.1无失真编码条件102

5.2.2渐近均分特性102

5.2.3定长码信源编码定理105

5.3变长码107

5.3.1异前置码的性质107

5.3.2变长码信源编码定理108

5.4最优编码111

5.4.1二元Huffman编码111

5.4.2多元Huffman编码115

5.4.3Huffman决策树116

5.4.4规范Huffman编码116

5.4.5马氏源的Huffman编码117

5.4.6香农码119

5.5几种实用的信源编码方法120

5.5.1算术编码120

5.5.2游程编码124

5.5.3LZ编码125

本章小结128

思考题129

习题129

第6章 离散信道及其容量133

6.1概述133

6.1.1信道的分类133

6.1.2离散信道的数学模型134

6.1.3信道容量的定义137

6.2单符号离散信道及其容量137

6.2.1离散无噪信道的容量137

6.2.2一般离散信道的容量138

6.2.3离散对称信道的容量141

6.3级联信道及其容量143

6.4多维矢量信道及其容量145

6.4.1多维矢量信道输入与输出的性质145

6.4.2离散无记忆扩展信道及其容量147

6.4.3并联信道及其容量148

6.4.4和信道及其容量149

6.5信道容量的迭代算法149

6.6有约束信道的容量151

6.6.1标号图的基本概念151

6.6.2有约束信道容量的计算154

本章小结157

思考题157

习题158

第7章 有噪信道编码163

7.1概述163

7.1.1信道编码的基本概念163

7.1.2判决与译码规则164

7.1.3译码错误概率165

7.2最佳判决与译码准则166

7.2.1最大后验概率准则166

7.2.2最大似然准则167

7.3信道编码与最佳译码168

7.3.1线性分组码168

7.3.2序列最大似然译码169

7.3.3几种简单的分组码171

7.4费诺（Fano）不等式172

7.5有噪信道编码定理174

7.5.1联合典型序列174

7.5.2有噪信道编码定理176

7.5.3无失真信源信道编码定理178

7.6纠错编码技术简介179

7.6.1线性分组码的编译码179

7.6.2几种重要的分组码183

7.6.3卷积码简介184

本章小结188

思考题189

习题189

第8章 波形信道194

8.1离散时间连续信道194

8.1.1离散时间连续信道模型194

8.1.2平稳无记忆连续信道195

8.1.3多维矢量连续信道的性质195

8.1.4离散时间连续信道的容量195

8.2加性噪声信道与容量197

8.2.1加性噪声信道的容量197

8.2.2加性高斯噪声信道的容量198

8.2.3一般加性噪声信道容量界限199

8.2.4并联加性高斯噪声信道的容量199

8.3AWGN信道的容量202

8.3.1加性高斯噪声波形信道202

8.3.2波形信道的互信息与容量203

8.3.3AWGN信道的容量204

8.3.4高斯噪声信道编码定理206

8.3.5功率利用率和频谱利用率的关系208

8.4有色高斯噪声信道209

8.4.1有色高斯噪声信道容量209

8.4.2多频段AWGN信道容量211

8.5数字调制系统的信道容量213

本章小结216

思考题217

习题217

第9章 信息率失真函数221

9.1概述221

9.1.1系统模型221

9.1.2失真测度222

9.1.3率失真函数和失真率函数224

9.2限失真信源编码定理225

9.2.1码率的压缩225

9.2.2限失真信源编码定理226

9.2.3限失真信源信道编码定理227

9.3离散R（D）函数的性质与计算227

9.3.1离散R（D）函数的性质227

9.3.2离散R（D）函数的计算230

9.4连续R（D）函数的性质与计算236

9.4.1连续R（D）函数的性质236

9.4.2连续R（D）函数的计算236

9.4.3差值失真测度下的R（D）函数238

9.5高斯信源的R（D）函数239

9.5.1无记忆高斯信源的R（D）函数239

9.5.2独立并联高斯信源的R（D）函数241

9.6一般连续信源的R（D）函数243

9.7有损数据压缩技术简介243

9.7.1量化243

9.7.2预测编码244

9.7.3子带编码244

9.7.4变换编码245

本章小结245

思考题246

习题247

第10章 网络信息论初步250

10.1概述250

10.2多址接入信道251

10.2.1二址接入信道的容量252

10.2.2多址接入信道的容量256

10.2.3不同多址方式下的接入信道容量257

10.3广播信道258

10.3.1概述258

10.3.2退化广播信道的容量区259

10.4中继信道262

10.4.1概述262

10.4.2退化中继信道的容量263

10.5分布信源编码264

10.5.1无损分布信源编码264

10.5.2具有边信息的有损分布信源编码268

10.5.3分布信源编码的应用269

本章小结270

思考题271

习题272

第11章 信息理论方法及其应用276

11.1信源熵的估计276

11.1.1离散信源序列熵的估计277

11.1.2连续信源熵的估计281

11.2最大熵原理281

11.2.1最大熵原理的描述281

11.2.2熵集中定理284

11.2.3几种重要的最大熵分布286

11.3最小交叉熵原理288

11.3.1最小交叉熵原理288

11.3.2交叉熵的性质289

11.3.3最小交叉熵推断的性质290

11.3.4交叉熵法291

11.4信息理论方法的应用292

11.4.1信息论在分子生物学中应用292

11.4.2最大熵谱估计和最小交叉熵谱估计294

11.4.3最大熵建模及其在自然语言处理中应用296

11.4.4最大熵原理在经济学中的应用298

11.4.5信息理论方法应用展望300

本章小结300

思考题301

习题301

参考文献304