Varias medidas cuantitativas de información resultan de utilidad en el análisis de sistemas de comunicaciones digitales. En este apartado se plantearán varias cuestiones teóricas relacionadas con este tipo de medidas.
La entropía de una variable aleatoria discreta puede interpretarse como una medida de la incertidumbre que se tiene sobre los posibles valores de su realización. Indique cuáles son los valores mínimo y máximo que puede tomar la entropía y en qué circunstancias se obtienen esos valores mínimo y máximo.
El valor mínimo de la entropía es cero, y ese valor se produce cuando no hay incertidumbre alguna sobre el posible resultado de la realización de dicha variable, lo que sucede cuando la probabilidad de uno de los valores del alfabeto es uno, y la del resto es nula. El valor máximo es el logaritmo del número de elementos del alfabeto y se da en el caso en que hay una incertidumbre máxima sobre el posible resultado del experimento aleatorio, que es el caso en el que todos los sucesos pueden darse con la misma probabilidad.
Explique cómo se relaciona la entropía conjunta de dos variables aleatorias discretas con la entropía de cada una de las variables. ¿Es la entropía conjunta la suma de la entropía de cada una de las variables aleatorias?
La entropía conjunta de dos variables aleatorias es la suma de la entropía de una de ellas con la entropía condicional de la otra dada la primera. Es decir
H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y).
En general esta entropía no será igual a la suma de las entropías de cada variable aleatoria. Esto sólo será así cuando las entropías condicionales coincidan con las entropías marginales, es decir, cuando
H(Y|X) = H(Y) y H(X|Y)=H(X),
condición que sólo se cumple en el caso en que las dos variables aleatorias son independientes.
Indique cuáles son son valores máximo y mínimo que puede tomar la información mutua entre dos variables aleatorias discretas, y explique en que casos se obtienen dichos valores máximo o mínimo.
El valor mínimo que puede tomar la información mutua entre dos variables aleatorias discretas es cero, lo que únicamente sucede en el caso en que ambas variables aleatorias son independientes. El valor máximo es el menor valor de la entropía de cada una de las dos variables aleatorias, ya que la información mutua nunca puede ser mayor que la entropía de una de las variables aleatorias. Este valor se produce cuando hay una relación determinista entre las variables aleatorias, de tal modo que la entropía de una de las variables aleatorias dada la otra es nula (dada la relación determinista, en el momento en que se conoce el valor una variable aleatoria no hay incertidumbre sobre la otra).
¿Puede ser una entropía condicional mayor que la entropía marginal sobre la misma variable aleatoria? Es decir, ¿es posible que H(X|Y) > H(X)?
No. La explicación intuitiva es que el conocimiento sobre otra variable aleatoria, en este caso Y, sólo puede reducir incertidumbre sobre el resultado de X, pero en ningún caso puede aumentarla. Matemáticamente, por ejemplo puede escribirse que la entropía condicional es la diferencia entre la entropía marginal y la información mutua
H(X|Y) = H(X) - I(X,Y),
con lo que dado que I(X,Y) es una función mayor o igual que cero, la entropía condicional sólo puede ser menor o igual que la entropía marginal, y sólo será igual a la marginal en el caso en que la información mutua sea nula, lo que se produce únicamente en el caso en que ambas variables aleatorias son independientes.
Algunas cuestiones sobre medidas de información