Entropía

Hola a todos!
Hoy, vamos a hablar sobre un aspecto de la teoría de la información, la entropía.
La información, posee la propiedad de disminuir la incertidumbre de una situación, a esta incertidumbre, la llamamos entropía, y se simboliza con la letra H. En cuanto crece la información, la entropía va disminuyendo. Se puede simbolizar con esta ecuación: H+INFORMACIÓN=1.
La entropía, está completamente ligada a la incertidumbre que existe en cualquier experimento aleatorio. Lo podemos considerar como el desorden en un sistema. Por ejemplo, si hemos tirado 3 veces una moneda, y sabemos que una vez ha salido cara, la entropía (tiene fórmula) será esas dos veces que no sabemos que ha salido.

Fórmula de la entropía.

Bien, vamos a definir las incógnitas de esta ecuación:
-H (X): Entropía del experimento X.
-p(xi): Probabilidad de que ocurra el estado posible p(xi) del suceso x (puede tener k estados posibles)
-i: Estados posibles.
(el logaritmo es en base dos, porque se considera como código binario)
Si i=2, se aplica la misma fórmula con una suma, es decir:
E p(1) log2 p(1)+ p(2) log2 p(2)= H (X)
i=2
p(2), es la probabilidad del estado 2
Bueno bloggeros, ya seguiré con más teoría de la información, hasta luego! :-)