Entropía de Shannon

Entropía de Shannon

Lo interesante es que entropía proviene de una palabra griega que significa evolución, en la que el tiempo representa el factor determinante, y los nuevos paradigmas científicos realzan el papel del tiempo y de la información en los acontecimientos evolutivos.

 

Teniendo en cuenta que el cerebro humano siguió creciendo hasta alcanzar una vía sin salida en el Neanderthal, y que el Homo sapiens sobrevivió gracias al uso del lenguaje, puede seguirse este proceso matemáticamente. Los centímetros cúbicos de capacidad del cráneo se obtienen por paleoantropología, y el número de palabras del lenguaje por extrapolación matemática de los datos existentes, según trabajos que he realizado. Es obvio que si en la actualidad existen 100.000 millones de neuronas en un cerebro de 1.500 c.c., su capacidad de sinapsis interneuronal puede medirse en bits. Se estima, que la apreciación de nuestra memoria puede oscilar entre 1012 a 1015 bits (una gran biblioteca pública puede tener almacenados libros con 1013 bits), aunque nuestra capacidad de asimilar información no sobrepasa los 25 bits/seg., lo que nos limita en una vida de 70 años a no poder almacenar más que unos 3x 109 bits. La naturaleza nos ha sobredimensionado, preparándonos para el futuro.

Una herramienta básica de la Teoría de la Información Clásica es cuantificar la información que es enviada en un mensaje.  

Claude E. Shannon demostró en 1948 que se puede realizar una correcta aproximación de la información contenida en un mensaje dado. El método de Shannon nos permite caracterizar cuanta información ganamos de una señal recibida. Si un mensaje tiene una alta probabilidad de ocurrencia, entonces cuando el mensaje es recibido no se gana mucha información nueva. Por otro lado, cuando la probabilidad de ocurrencia del mensaje es bajase gana una cantidad significativa de información al recibir el mensaje.

 

La entropía de Shannon además de ayudarnos a medir la cantidad de información contenida en un mensaje, puede ayudar a responder ¿qué tanto se puede comprimir un mensaje sin perder información?.

Para poder especificar una letra dentro del alfabeto se necesitan 2 bits de información.  Una palabra es una cadena al almacenarla, cabe destacar que una buena estrategia de compresión de datos es codificar las cadenas con mayor probabilidad de aparición con las secuencias de menor tamaño y las cadenas con menor probabilidad con secuencias mayores. Shannon demostró que la tasa de compresión óptima de datos está dada por la entropía de Shannon.

 

Mi conclusión es que entropía, no solo es una definición matemática, sino, que es la manera  de definir la transmisión de un mensaje y la parte fundamental de este, tomando en cuenta, la estructura del lenguaje y el sentido que se le quiere dar. Puesto que la población humana alcanzó su punto de inflexión hace ya dos décadas, la única posibilidad de que el potencial informativo siga creciendo nos lo ofrecen la masiva utilización de las máquinas informativas por la humanidad, que constituyen el fundamento de la nueva sociedad de la información o del conocimiento en la que estamos inmersos como protagonistas. De seguir la Ley de Moore, en el año 2018 se habrá superado la capacidad de almacenamiento de 1014 elementos por chip, lo que constituye la próxima barrera física a vencer, en los límites de la materia, pues la información es un recurso inacabable. Nuestra misión profesional es ponerlo a disposición de la humanidad.