信息量的计算方法

信息量的计算方法

信息论创始人C.E.Shannon，1938年首次使用比特（bit）概念：1（bit）= 。它相当于对二个可能结局所作的一次选择量。信息论采用对随机分布概率取对数的办法，解决了不定度的度量问题。
m个对象集合中的第i个对象，按n个观控指标测度的状态集合的
全信息量TI= 。
从试验后的结局得知试验前的不定度的减少，就是申农界定的信息量，即
自由信息量FI=－∑pi ，（i=1,2，…，n）。
式中pi是与随机变量xi对应的观控权重，它趋近映射其实际状态的分布概率。由其内在分布构成引起的在试验前的不定度的减少，称为先验信息或谓约束信息量。风险是潜藏在随机变量尚未变之前的内在结构能（即形成该种结构的诸多作用中还在继续起作用的有效能量）中的。可以显示、映射这种作用的是
约束信息量BI=TI-FI。
研究表明，m个观控对象、按n个观控指标进行规范化控制的比较收益优选序，与其自由信息量FI之优选序趋近一致；而且各观控对象“愈自由，风险愈小”；约束信息量BI就是映射其风险的本征性测度，即风险熵。
把信息描述为信息熵，是状态量，其存在是绝对的；信息量是熵增，是过程量，是与信息传播行为有关的量，其存在是相对的。在考虑到系统性、统计性的基础上，认为：信息量是因具体信源和具体信宿范围决定的，描述信息潜在可能流动价值的统计量。本说法符合熵增原理所要求的条件：一、“具体信源和信宿范围”构成孤立系统，信息量是系统行为而不仅仅是信源或信宿的单独行为。二、界定了信息量是统计量。此种表述还说明，信息量并不依赖具体的传播行为而存在，是对“具体信源和具体信宿”的某信息潜在可能流动价值的评价，而不是针对已经实现了的信息流动的。由此，信息量实现了信息的度量。

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息