最近几天重新复习了有关信息编码的知识，首先跟大家推荐两本书吧。《数字通信原理与技术》（北京邮电出版社的）《ldpc原理与应用》首先先搞清几个概念。1.什么是分组码？每个码组的监督码元仅与该码组的信息码元有关，而与其他码组的信息码元无关，这类码称为分组码。在分组码中，监督码元仅监督本码组中的信息码元。编码效率R=k/n，k是信息位，n-k是监督位，R越大，信息位所占的比重越大...

每次都是看了就忘，看了就忘，从今天开始，细节开始，推一遍交叉熵。我的第一篇CSDN，献给你们（有错欢迎指出啊）。一.什么是交叉熵交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个概率分布p和q，通过q来表示p的交叉熵为：     注意，交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，q代表的是预...