在离散信源熵与互信息章节中，相对熵（KL 散度，Kullback-Leibler Divergence）是衡量两个概率分布差异程度的核心指标，也是深度学习损失函数、变分推断、模型分布对齐的理论基础。本次作业核心任务：严格证明相对熵的非负性，同时补充等号成立条件、相对熵不满足对称性的特性，最后通过 Python 数值仿真直观验证理论推导结果，做到理论推导 + 实验验证双重闭环。数学推导为理论严谨证明

本文研究了信息论中的最大熵定理，通过理论推导和Python仿真验证了离散信源在仅满足概率归一化约束时，均匀分布能使熵最大化。理论部分采用拉格朗日乘数法严格证明，得出最大熵值为log2n（n为符号数）。实验部分生成5000组随机概率分布计算熵值，结果直方图显示均匀分布的熵确实达到理论最大值（n=3时约1.585bit），且分布越不均匀熵值越小。研究证实了熵与概率分布均匀性的正相关关系，并指出最大熵原

摘要二进制对称信道（BSC）是离散无记忆信道最基础模型，多级BSC信道串联是通信链路多级中继传输的简化模型。本文先推导两级BSC串联等效转移矩阵与信道容量闭式解，进一步推广得到m级串联BSC通用容量公式；通过Python完成数值仿真，绘制信道容量随误码率、串联级数变化的关系曲线，直观分析串联链路对传输容量的衰减规律，同时结合通信工程场景解释结论物理意义。一、研究背景与意义二进制对称信道BSC广泛用

二进制对称信道是最基本的离散无记忆信道模型。本文研究将 BSC 独立使用nnn次构成的nnn次扩展信道，证明其信道容量为Cnn1−H2pCn​n1−H2​p，其中ppp为误码率，H2pH_2(p)H2​p为二进制熵函数。当0p0.50<p<0.50p0.5时，信道容量随扩展次数nnn线性增长，即“使用次数越多，可传输的总可靠信息量越大”。理论推导基于互信息的链式法则和信道无记忆性。

本文主要围绕非高斯噪声连续单符号加性信道的容量问题进行分析。考虑信道模型为：y = x + n其中，x 为输入信号，n 为加性噪声。假设输入信号满足平均功率约束 E[x²] ≤ S，噪声均值为 0，方差为 σ²，但噪声分布不一定服从高斯分布。在此基础上，由互信息表达式：可以分别得到信道容量的下界和上界。

Y) 是信息论中信道容量求解的核心函数。Y) 是 p(xi) 的上凸函数时，最大值才唯一且全局最优，这是所有迭代注水算法收敛的理论基石。定义混合分布：Pλ(x)=λ*P1(x)+(1−λ)*P2(x)2.条件熵的线性性：固定信道转移概率时，条件熵 H(Y∣X)=∑x*p(x)H(Y∣X=x) 是输入分布 p(x) 的线性函数。由于信道是线性的（固定转移矩阵），对应的输出分布也满足：Qλ(y)=λQ

哈夫曼编码是信息论课程中最经典的变长信源编码算法之一，也是无损数据压缩领域的核心技术。其核心思想是通过统计信源符号的出现概率，为高频符号分配短码字、低频符号分配长码字，使平均码长尽可能逼近信源熵的理论下界，实现高效无歧义压缩。本次大作业结合课堂所学的变长信源编码定理，从理论推导、算法实现、仿真验证三个维度展开：首先梳理哈夫曼编码的数学基础与最优性证明，其次基于 Python 实现完整的编码与译码流

通过本次多级BSC信道串联容量仿真实验，我系统掌握了二进制对称信道的基础模型、信道串联的理论推导过程以及信道容量的求解方法，同时结合Python编程实现了理论公式的可视化验证，做到了理论推导与仿真实践相结合，收获颇丰。1. 理论知识收获本次实验彻底理清了BSC信道噪声累积的核心机理，打破了“多级信道误差简单叠加”的固有认知。通过公式推导可知，BSC信道串联并非错误概率线性叠加，而是通过指数运算实现

本文通过Python仿真验证了香农限失真信源编码定理，研究了离散二元信源和连续高斯信源在有损压缩下的理论极限。对于等概率二元信源（汉明失真测度），当允许失真D=0时需1bit/symbol传输率，D≥0.5时传输率为0；高斯信源（平方误差测度）在D→0时传输率趋近无穷大，D≥σ²时降为0。仿真结果表明：1）离散信源的R(D)函数在D=0.5处截断，验证了最大容忍失真的临界点；2）连续信源的无损传输

香农信息熵量化了系统不确定性，本文从信息论角度对比二分搜索与无重复随机搜索的检索效率，搭建 1~100 整数搜索空间，完成 1000 次蒙特卡洛 Python 仿真实验。结果表明二分搜索平均查找步数约 6.69 次，贴近香农熵 6.64bit 理论下界；随机搜索平均步数接近 50 次，信息获取效率极低。文章阐明有序先验信息可最大化单次查询信息增益，为数据库检索、参数寻优类工程算法提供理论设计思路。