¿Qué hizo Claude Shannon?

Resumen: Claude Shannon es considerado como el fundador de las comunicaciones electrónicas. Aunque fue un científico que pasó desapercibido, a él se debe el gran desarrollo de la informática y las comunicaciones, omnipresentes en nuestra sociedad.

¿Cuándo surge la teoria de la información?

La teoría de la información, también denominada teoría matemática de la comunicación, se centra en el estudio de la transmisión de datos, su procesamiento y la medición de la información. Claude Shannon y Warren Weaver, fueron los autores de esta teoría que se promulgó en 1940.

¿Cómo interpretar la entropía de Shannon?

Hoy me han dicho cómo interpretar esa fórmula intuitivamente: la entropía de Shannon es el número de preguntas sí/no que se necesitan para llegar a la respuesta correcta. Es decir, imaginamos que hay un oráculo que siempre acierta y tenemos que hacerle preguntas hasta que lleguemos al valor de la variable.

¿Quién inventó la entropía de la información?

Además, Shannon introdujo también el concepto de entropía de la información y fue quien popularizó el término bit (binary digit, acuñado por John Tukey), siendo el primero en proponer que toda información —ya fuera lenguaje escrito, lenguaje oral, imágenes o vídeo— podía ser digitalizada; es decir, convertida a bits.

¿Cuál es el valor de la entropía?

El valor de la entropía sería: Por tanto, el codificador óptimo necesita de media 1,5 bits para codificar cualquier valor de X. Supongamos que en vez de tener una única variable aleatoria X, existe otra variable Y dependientes entre sí, es decir el conocimiento de una (por ejemplo, Y) entrega información sobre la otra (por ejemplo, X).

¿Cuál es la entropía de un mensaje?

La entropía de un mensaje M de longitud 1 carácter que utiliza el conjunto de caracteres ASCII, suponiendo una equiprobabilidad en los 256 caracteres ASCII, será: Supongamos que el número de estados de un mensaje es igual a 3, M 1, M 2 y M 3 donde la probabilidad de M 1 es 50 \%, la de M 2 25 \% y la de M 3 25 \%.