Comunicación digital - Teoría de la información
La información es la fuente de un sistema de comunicación, ya sea analógico o digital. Information theory es un enfoque matemático para el estudio de la codificación de información junto con la cuantificación, almacenamiento y comunicación de información.
Condiciones de ocurrencia de eventos
Si consideramos un evento, existen tres condiciones de ocurrencia.
Si el evento no ha ocurrido, existe una condición de uncertainty.
Si el evento acaba de ocurrir, existe una condición de surprise.
Si el evento ha ocurrido, hace un tiempo, existe la condición de tener alguna information.
Estos tres eventos ocurren en diferentes momentos. La diferencia en estas condiciones nos ayuda a conocer las probabilidades de ocurrencia de eventos.
Entropía
Cuando observamos las posibilidades de ocurrencia de un evento, cuán sorprendente o incierto sería, significa que estamos tratando de tener una idea del contenido promedio de la información de la fuente del evento.
Entropy se puede definir como una medida del contenido de información promedio por símbolo de fuente. Claude Shannon, el "padre de la teoría de la información", proporcionó una fórmula para ello como:
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Dónde pi es la probabilidad de que ocurra el número de carácter i de un flujo dado de caracteres y bes la base del algoritmo utilizado. Por lo tanto, esto también se llama comoShannon’s Entropy.
La cantidad de incertidumbre que queda sobre la entrada del canal después de observar la salida del canal se denomina como Conditional Entropy. Se denota por $ H (x \ mid y) $
Información mutua
Consideremos un canal cuya salida es Y y la entrada es X
Sea la entropía de la incertidumbre previa X = H(x)
(Esto se asume antes de aplicar la entrada)
Para conocer la incertidumbre de la salida, después de aplicar la entrada, consideremos la entropía condicional, dado que Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Esta es una variable aleatoria para $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ con probabilidades $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ respectivamente.
El valor medio de $ H (X \ mid y = y_k) $ para el alfabeto de salida y es -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right PS
$ = \ Displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ Displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ Displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ Displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Ahora, considerando las dos condiciones de incertidumbre (antes y después de aplicar las entradas), llegamos a saber que la diferencia, es decir, $ H (x) - H (x \ mid y) $ debe representar la incertidumbre sobre la entrada del canal que se resuelve. observando la salida del canal.
Esto se llama como Mutual Information del canal.
Denotando la información mutua como $ I (x; y) $, podemos escribir todo en una ecuación, como sigue
$$ I (x; y) = H (x) - H (x \ mid y) $$
Por lo tanto, esta es la representación ecológica de la información mutua.
Propiedades de la información mutua
Estas son las propiedades de la información mutua.
La información mutua de un canal es simétrica.
$$ I (x; y) = I (y; x) $$
La información mutua no es negativa.
$$ I (x; y) \ geq 0 $$
La información mutua se puede expresar en términos de entropía de la salida del canal.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Donde $ H (y \ mid x) $ es una entropía condicional
La información mutua de un canal está relacionada con la entropía conjunta de la entrada del canal y la salida del canal.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Donde la entropía conjunta $ H (x, y) $ está definida por
$$ H (x, y) = \ Displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ Displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Capacidad del canal
Hasta ahora hemos hablado de la información mutua. La información mutua promedio máxima, en un instante de un intervalo de señalización, cuando se transmite por un canal discreto sin memoria, las probabilidades de la tasa de transmisión máxima confiable de datos, se puede entender como lachannel capacity.
Se denota por C y se mide en bits per channel utilizar.
Fuente discreta sin memoria
Una fuente desde la que se emiten los datos a intervalos sucesivos, que es independiente de los valores anteriores, puede denominarse discrete memoryless source.
Esta fuente es discreta ya que no se considera para un intervalo de tiempo continuo, sino a intervalos de tiempo discretos. Esta fuente no tiene memoria, ya que está fresca en cada instante, sin considerar los valores anteriores.