信息论基础及应用PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础及应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

目录1

第1章 绪论1

1.1 信息的概念1

1.1.1 信息、消息及信号的区别与联系1

1.1.2 香农信息的定义与度量3

1.2 信息论研究的对象、目的和内容8

1.2.1 信息论研究的对象8

1.2.2 信息论研究的目的9

1.2.3 信息论研究的内容10

1.3 信息论的形成及发展11

第2章 离散信源及信息的度量15

2.1 信源的数学模型及分类15

2.1.1 信源输出的消息由随机变量描述15

2.1.2 信源输出的消息由随机矢量描述17

2.1.3 信源输出的消息由随机过程描述18

2.2 离散信源的信息量18

2.2.1 非平均不确定性19

2.2.2 非平均信息量20

2.3 熵的基本性质23

2.2.3 平均信息量23

2.4 消息序列的熵38

2.4.1 消息序列信息量的一般表达式39

2.4.2 离散无记忆的扩展信源40

2.4.3 离散平稳信源42

2.4.4 马尔可夫信源＊50

2.5 信源的相关性和剩余度55

习题56

第3章 离散信源的无失真编码60

3.1 编码器60

3.2 离散无记忆信源的渐近等同分割性64

3.3 等长码和等长信源编码定理65

3.4 变长码70

3.4.1 码的分类和主要编码方法71

3.4.2 克拉夫特不等式和麦克米伦不等式72

3.4.3 惟一可译码判断准则76

3.5 香农第一定理77

3.5.1 码的平均长度77

3.5.2 变长无失真信源编码定理81

3.6 变长码的编码方法84

3.6.1 香农编码84

3.6.2 费诺编码87

3.6.3 霍夫曼编码88

3.7 离散平稳信源和马尔可夫信源的编码定理＊94

3.7.1 离散平稳信源的编码定理94

3.7.2 马尔可夫信源的编码定理95

习题98

第4章 离散信道及信道容量101

4.1 信道的数学模型和分类101

4.1.1 信道101

4.1.2 信道的分类102

4.1.3 离散信道的数学模型103

4.1.4 单维离散信道的数学模型104

4.2 信道传输的平均互信息106

4.2.1 损失熵和噪声熵107

4.2.2 平均互信息108

4.2.3 平均条件互信息109

4.3 平均互信息的特性111

4.4 信道容量的概念及其计算方法117

4.4.1 信道容量的定义117

4.4.2 简单离散信道的信道容量118

4.4.3 对称离散信道的信道容量120

4.4.4 一般离散信道的信道容量124

4.4.5 离散无记忆信道容量的迭代算法＊134

4.4.6 离散无记忆N次扩展信道及其信道容量139

4.5 串联信道和并联信道的信道容量143

4.5.1 串联信道及其信道容量143

4.5.2 并联信道及其信道容量147

4.6 信源与信道的匹配149

习题150

5.1 错误概率和译码规则154

第5章 有噪信道编码154

5.1.1 错误概率的分析155

5.1.2 两种典型的译码规则156

5.1.3 费诺不等式159

5.2 错误概率与编码方法160

5.2.1 简单重复编码161

5.2.2 消息符号个数163

5.2.3 （5，2）线性码165

5.2.4 汉明距离166

5.3 联合典型序列与联合渐近等同分割定理170

5.4.1 有噪信道编码定理172

5.4 香农第二定理172

5.4.2 有噪信道编码定理的逆定理174

5.4.3 错误概率的上界175

习题175

第6章 离散信源的限失真编码178

6.1 失真测度178

6.1.1 失真度179

6.1.2 平均失真度182

6.2 信息率失真函数183

6.2.1 D允许信道（试验信道）183

6.2.2 信息率失真函数的定义184

6.2.3 信息率失真函数的性质185

6.3 信息率失真函数的参量表述及其计算191

6.3.1 利用信源的对称性来计算信息率失真函数191

6.3.2 信息率失真函数的参量表述193

6.4 信息率失真函数的迭代计算＊200

6.5 香农第三定理204

6.5.1 限失真信源编码定理204

6.5.2 限失真信源编码逆定理209

6.5.3 限失真编码定理的意义210

习题211

第7章 连续信源和波形信源215

7.1 连续／波形信源的统计特性215

7.2 连续信源和波形信源的信息度量217

7.2.1 连续信源的差熵217

7.2.2 波形信源的差熵222

7.2.3 三种特殊连续信源的差熵223

7.3 最大差熵定理226

7.3.1 峰值功率受限最大差熵定理226

7.3.2 平均功率受限最大差熵定理227

7.4 熵速率和熵功率229

7.5 连续信源熵的变换230

7.5.1 坐标变换后概率密度函数的变化230

7.5.2 坐标变换后差熵的变化231

7.6 连续信源的信息率失真函数234

7.6.1 连续信源的信息率失真函数定义234

7.6.2 平方误差失真度下高斯信源的信息率失真函数235

习题238

第8章 连续信道和波形信道240

8.1 连续／波形信道的分类240

8.1.1 按噪声统计特性分类241

8.1.2 按噪声对信号的作用功能分类243

8.2 连续信道的信息传输率245

8.2.1 单维连续信道的平均互信息245

8.2.2 多维连续信道的平均互信息246

8.2.3 连续信道平均互信息的特性246

8.3 连续信道的信道容量251

8.3.1 单维高斯加性信道251

8.3.2 单维非高斯加性信道252

8.3.3 多维无记忆高斯加性连续信道253

8.3.4 多维有记忆高斯加性连续信道258

8.4 波形信道的信息传输率和信道容量260

8.4.1 波形信道的信息传输率260

8.4.2 高斯白噪声加性波形信道261

8.4.3 有色高斯加性波形信道263

8.5 连续信道编码定理265

习题268

第9章 网络信息理论270

9.1 网络信道的分类270

9.1.1 多源接入信道270

9.1.2 广播信道271

9.1.3 中继信道272

9.1.4 串扰信道272

9.1.5 反馈信道272

9.2 多个随机变量下的联合典型序列274

9.3 相关信源编码277

9.3.1 两个相关信源的模型277

9.3.2 相关信源编码定理278

9.4 多源接入信道281

9.4.1 多源接入信道的容量281

9.4.2 相关信源的多源接入信道286

9.4.3 高斯多源接入信道288

附录 Matlab源程序293

附录A 信息熵293

附录B 离散无记忆信道容量的迭代计算293

附录C Shannon编码295

附录D Fano编码297

附录E Huffman编码300

附录F 信息率失真函数的迭代计算303

参考文献308