Teoría de la información
La información es la fuente de un sistema de comunicación, ya sea analógico o digital. Information theory es un enfoque matemático para el estudio de la codificación de información junto con la cuantificación, almacenamiento y comunicación de información.
Condiciones de ocurrencia de eventos
Si consideramos un evento, existen tres condiciones de ocurrencia.
Si el evento no ha ocurrido, existe una condición de uncertainty.
Si el evento acaba de ocurrir, existe una condición de surprise.
Si el evento ha ocurrido, hace un tiempo, existe la condición de tener alguna information.
Por lo tanto, estos tres ocurren en diferentes momentos. La diferencia en estas condiciones, nos ayuda a tener un conocimiento sobre las probabilidades de ocurrencia de eventos.
Entropía
Cuando observamos las posibilidades de ocurrencia de un evento, ya sea por sorpresa o por incierto, significa que estamos tratando de tener una idea del contenido promedio de la información de la fuente del evento.
Entropy se puede definir como una medida del contenido de información promedio por símbolo de fuente. Claude Shannon, el "padre de la teoría de la información", le ha dado una fórmula como
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Donde $ p_i $ es la probabilidad de que ocurra el número de carácter ide un flujo de caracteres dado y b es la base del algoritmo utilizado. Por lo tanto, esto también se llama comoShannon’s Entropy.
La cantidad de incertidumbre que queda sobre la entrada del canal después de observar la salida del canal se denomina como Conditional Entropy. Se denota por $ H (x \ arrowvert y) $
Fuente discreta sin memoria
Una fuente desde la que se emiten los datos a intervalos sucesivos, que es independiente de los valores anteriores, se puede denominar como discrete memoryless source.
Esta fuente es discreta ya que no se considera para un intervalo de tiempo continuo, sino en intervalos de tiempo discretos. Esta fuente no tiene memoria, ya que está fresca en cada instante, sin considerar los valores anteriores.
Codificación de fuente
De acuerdo con la definición, “Dada una fuente de entropía discreta sin memoria $ H (\ delta) $, la longitud promedio de la palabra de código $ \ bar {L} $ para cualquier codificación de fuente se limita a $ \ bar {L} \ geq H (\ delta) $ ”.
En palabras más simples, la palabra de código (por ejemplo: el código Morse para la palabra QUEUE es -.- ..-. ..-.) Es siempre mayor o igual que el código fuente (QUEUE en el ejemplo). Lo que significa que los símbolos de la palabra de código son mayores o iguales que los alfabetos del código fuente.
Codificación de canales
La codificación de canales en un sistema de comunicación introduce redundancia con un control, para mejorar la confiabilidad del sistema. La codificación de origen reduce la redundancia para mejorar la eficiencia del sistema.
La codificación de canales consta de dos partes de acción.
Mapping secuencia de datos entrantes en una secuencia de entrada de canal.
Inverse mapping la secuencia de salida del canal en una secuencia de datos de salida.
El objetivo final es minimizar el efecto general del ruido del canal.
El mapeo lo realiza el transmisor, con la ayuda de un codificador, mientras que el mapeo inverso se realiza en el receptor mediante un decodificador.