请输入要查询的词条内容:
一个信源输出的符号前后有相关性时,信号输出的熵将减少,这就是一种形式的剩余。
信源的剩余度,也称为多余度,与熵的减少有关。因此,香农用熵的降低量来定义剩余度。
首先得给出相对熵的定义,一个实际信源输出的熵H(x)与其最大可能的熵Hmax(x)的比值定义为相对熵;
相对熵=H(x)/Hmax(x)
1与相对熵之差定义为剩余度,用E表示
E=剩余度=1-[H(x)/Hmax(x)]。