信息论与编码PDF|Epub|txt|kindle电子书版本网盘下载

信息论与编码PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

第2章 熵和互信息6

2.1 随机变量的熵和互信息6

2.1.1 事件的自信息和互信息8

2.1.2 条件事件的互信息与联合事件的互信息10

2.1.3 随机变量的平均自信息——熵11

2.1.4 熵的性质14

2.1.5 凸函数18

2.1.6 随机变量间的平均互信息22

2.1.7 概率分布的散度（相对熵）26

2.1.8 关于疑义度的Fano不等式27

2.1.9 马尔可夫链和数据处理定理28

2.1.10 Shannon信息度量与集合论之间的联系32

2.1.11 信息论与博弈之间的关系38

2.2 连续随机变量的互信息和微分熵40

2.2.1 连续随机变量的互信息40

2.2.2 连续随机变量的熵——微分熵42

2.2.3 微分熵的极大化45

2.3 平稳离散信源的熵48

2.3.1 平稳离散信源的一般概念48

2.3.2 平稳信源的熵49

2.3.3 马尔可夫信源52

2.4 平稳随机过程的信息量与熵55

习题59

第3章 离散无记忆信源（DMS）的无损编码64

3.1 离散无记忆信源的等长编码64

3.1.1 等长编码64

3.1.2 Shannon编码定理和典型列解释65

3.1.3 渐近等分性质（AEP）与Shannon定理的证明67

3.2 离散无记忆源（DMS）的不等长编码71

3.2.1 不等长编码的惟一可译性和译码延时71

3.2.2 Kraft不等式75

3.2.3 不等长编码定理77

3.3 几种不等长编码算法79

3.3.1 最佳不等长编码（Huffman编码）79

3.3.2 Shannon编码法82

3.3.3 Fano编码84

3.3.4 Shannon-Fano-Elias编码87

3.3.5 算术编码89

3.3.6 通用信源编码算法95

3.3.7 压缩编码与离散随机数发生100

3.4 平稳信源和马尔可夫信源的编码定理104

3.4.1 平稳信源的编码104

3.4.2 马尔可夫信源的编码107

习题111

第4章 信道、信道容量及信道编码定理114

4.1 信道、信道模型和分类114

4.2 离散无记忆信道（DMC）及其容量115

4.2.1 信道容量定义及例子116

4.2.2 离散无记忆信道（DMC）的容量定理121

4.2.3 对称离散无记忆信道容量的计算122

4.2.4 转移概率矩阵可逆信道的容量计算126

4.2.5 离散无记忆信道（DMC）容量的迭代计算127

4.3 信道的组合132

4.3.1 积信道（平行组合信道）133

4.3.2 和信道134

4.3.3 级联信道136

4.4 离散无记忆信道（DMC）的编码定理138

4.4.1 几个有关定义139

4.4.2 二元对称信道编码定理的证明140

4.4.3 一般离散无记忆信道编码定理的证明（典型列方法）144

4.4.4 信道编码定理之逆149

4.4.5 具有理想反馈的离散无记忆信道的容量150

4.4.6 信源、信道编码分离定理和信源、信道联合编码151

4.5 加性高斯噪声（AWGN）信道153

4.5.1 高斯信道的容量155

4.5.2 高斯信道编码定理156

4.5.3 高斯信道编码定理之逆158

4.5.4 带有独立高斯噪声的平行信道159

4.5.5 带有相关高斯噪声的平行信道162

4.5.6 MIMO高斯信道的容量164

4.6 模拟信道的信道容量171

4.6.1 带限、加性白高斯噪声信道171

4.6.2 带限、有色高斯噪声信道174

习题175

第5章 率失真理论和保真度准则下的信源编码180

5.1 率失真函数的定义182

5.2 简单信源的率失真函数计算186

5.2.1 Hamming失真度量下的贝努利信源186

5.2.2 高斯信源188

5.2.3 高斯矢量信源190

5.3 率失真函数的性质193

5.3.1 R（D）的非零区域（Dmin，Dmax）193

5.3.2 R（D）的向下凸性194

5.3.3 R（D）为单调递减的连续函数195

5.3.4 利用信源的对称性来计算率失真函数196

5.4 率失真函数解的充要条件和参数方程199

5.5 率失真函数的交替迭代计算205

5.6 保真度准则下离散无记忆信源编码定理209

5.6.1 可达性证明209

5.6.2 逆定理证明213

5.6.3 信道编码定理与限失真信源编码定理之间的对偶214

5.7 无记忆连续信源的率失真函数215

5.7.1 无记忆连续信源的率失真函数定义215

5.7.2 平方误差失真度量下连续随机变量的率失真函数的上、下限217

5.8 平方误差失真度量下有记忆高斯信源的率失真函数221

5.8.1 有记忆信源的率失真函数定义221

5.8.2 高斯信源的特征222

5.8.3 离散时间平稳高斯信源的率失真函数223

5.8.4 连续时间平稳高斯信源的率失真函数227

习题228

第6章 受限系统和受限系统编码231

6.1 受限系统概述231

6.1.1 受限信道231

6.1.2 序列的自相关函数和功率谱234

6.2 受限系统的表示和容量计算237

6.2.1 受限系统的概念237

6.2.2 RLL（d，k）序列238

6.2.3 受限系统的有限状态转移图表示238

6.2.4 受限系统的容量241

6.2.5 受限系统容量的计算242

6.2.6 最大熵游程受限序列的功率谱248

6.3 受限系统编码方法250

6.3.1 定长分组编码250

6.3.2 码长最短的定长分组码253

6.3.3 可变长度固定速率编码255

6.3.4 向前看（LA）编码技术257

6.4 基于ACH状态分裂算法的有限状态编码器259

6.4.1 状态分裂260

6.4.2 近似本征矢量261

6.4.3 u一致分裂264

6.4.4 ACH状态分裂算法266

第7章 线性分组纠错编码269

7.1 分组纠错编码的一般概念269

7.1.1 用于纠错和检错的信道编码269

7.1.2 二元对称信道的差错概率和差错分布270

7.1.3 检错和纠错271

7.1.4 自动重发请求（ARQ）编码273

7.1.5 最大似然译码和最小Hamming距离译码275

7.1.6 最小Hamming距离与检错、纠错能力的关系277

7.2 线性分组纠错编码279

7.2.1 线性分组编码的生成矩阵和校验矩阵279

7.2.2 对偶码282

7.2.3 线性分组码的最小Hamming距离和最小Hamming重量283

7.3 线性分组码的纠错能力285

7.4 线性分组码的译码288

7.4.1 标准阵列译码法289

7.4.2 伴随式译码291

7.5 译码错误概率计算292

7.5.1 码字错误概率292

7.5.2 误比特率293

7.6 二元Hamming码293

7.6.1 Hamming码的定义293

7.6.2 Hamming码的完备性295

7.6.3 Hamming码的对偶码295

7.7 从一个已知线性分组码来构造一个新的线性分组码296

习题298

第8章 循环码301

8.1 有限域代数的基本知识301

8.1.1 有限域的定义301

8.1.2 GF（2m）的构成303

8.1.3 有限域的特征和元素的阶数305

8.1.4 最小多项式308

8.2 循环码的定义和它的多项式表示309

8.3 系统循环码的编码及其实现314

8.3.1 系统循环码的编码314

8.3.2 多项式运算的电路实现315

8.3.3 循环码编码的电路实现320

8.4 循环码的矩阵表示322

8.5 循环码的译码及其实现325

8.5.1 伴随式的计算325

8.5.2 循环码的通用译码算法328

8.5.3 梅吉特（Meggitt）译码器329

8.6 几个重要的循环码331

8.6.1 Hamming循环码332

8.6.2 BCH码334

8.6.3 Reed-Solomon（RS）码337

习题339

第9章 卷积码340

9.1 卷积码的代数结构340

9.1.1 卷积码的构成340

9.1.2 卷积码编码器的冲击响应和生成矩阵341

9.1.3 卷积码编码器的多项式描述346

9.2 卷积码的图描述和重量计数347

9.2.1 卷积码的树图描述347

9.2.2 卷积码的网格图描述349

9.2.3 卷积码的状态图描述349

9.2.4 卷积码的重量计数351

9.2.5 恶性码353

9.3 卷积码的Viterbi译码算法354

9.3.1 分支度量、路径度量和最大似然译码355

9.3.2 Viterbi译码算法357

9.3.3 作为前向动态规划解的Viterbi算法359

9.3.4 实现Viterbi译码算法的一些具体考虑363

9.4 卷积码Viterbi译码算法的性能界365

9.4.1 节点错误概率365

9.4.2 比特错误概率368

9.4.3 卷积码在BSC和AWGN信道的性能369

9.5 凿孔卷积码372

习题375

第10章 Turbo编码与迭代译码算法377

10.1 Turbo码概述377

10.2 Turbo码编码器379

10.2.1 递归系统卷积码（RSC）380

10.2.2 网格终止问题382

10.2.3 Turbo码中的交织器383

10.3 Turbo码的性能分析388

10.4 Turbo码的迭代译码算法391

10.4.1 Turbo译码方式391

10.4.2 SISO译码算法（MAP算法）393

10.4.3 修正的MAP算法396

10.5 迭代译码的信息论解释398

10.5.1 最小交叉熵（MCE）原理398

10.5.2 交叉熵与迭代译码的关系401

第11章 多用户信息论与多用户编码405

11.1 多用户信息传输模型和信源编码模型405

11.1.1 多用户信息传输模型405

11.1.2 多用户信源编码模型408

11.2 多变量联合典型列及强典型列概念409

11.2.1 多变量联合典型列及联合AEP性质409

11.2.2 强典型列集合与强AEP412

11.3 多接入信道413

11.4 广播信道418

11.4.1 广播信道的定义419

11.4.2 退化的广播信道420

11.5 干扰信道425

11.5.1 强干扰信道426

11.5.2 高斯干扰信道428

11.6 中继信道431

11.6.1 退化中继信道433

11.6.2 高斯中继信道436

11.7 具有反馈的多用户信道438

11.7.1 具有无噪反馈的无记忆多接入信道438

11.7.2 具有无噪反馈的广播信道443

11.7.3 双向信道446

11.8 具有状态边信息的信道编码452

11.8.1 具有缺损的硬盘存储器信道455

11.8.2 仅发送端具有信道状态信息时的信道容量457

11.8.3 脏纸上写字458

11.9 相关信源的无损编码及在多接入信道上传输460

11.9.1 相关信源的无损编码460

11.9.2 相关信源在多接入信道上传输465

11.10 具有边信息的信源编码469

11.10.1 译码器具有边信息的无损信源编码469

11.10.2 具有边信息的率失真问题471

11.10.3 仅在译码器具有高斯边信息的高斯信源的率失真函数474

11.10.4 DISCUS算法476

11.11 多描述信源编码480

11.11.1 具有2个信道和3个接收机的多描述信源编码模型481

11.11.2 可达性的证明488

11.11.3 信息描述的相继细化490

参考文献496