Por qué la entropía no es desorden¶

7 minutos de lectura · 8 marzo 2026

"La entropía mide el desorden." La frase es bonita, sale en los libros de divulgación y es falsa en cuanto te apartas un milímetro del intuitivo.

La entropía no mide desorden. Mide cuánta sorpresa esperas de un sistema.

La palabra "desorden" arrastra connotaciones —caos, suciedad, dispersión— que no son lo que el formalismo dice. Cambia "desorden" por "incertidumbre" y de pronto todas las paradojas desaparecen.

La definición sin grima¶

Shannon, 1948. Si tienes una variable que puede tomar valores x_i con probabilidad p_i:

H = -Σ p_i · log₂(p_i)

Tres lecturas distintas de esa fórmula, todas correctas:

1. Sorpresa media. -log₂(p_i) es lo "sorprendido" que estás cuando sale x_i. La entropía es la sorpresa que esperas en promedio.
2. Bits necesarios. Cuántos bits hacen falta, en media, para describir un resultado con codificación óptima.
3. Incertidumbre. Cuánto te falta saber antes de observar el resultado.

Las tres son la misma cosa contada distinto. Y ninguna habla de "desorden".

El experimento que clarifica¶

Una moneda truncada: cae cara 99% de las veces, cruz 1%.

• ¿Es desordenada? Intuitivamente no: es muy predecible.
• ¿Tiene alta entropía? Hagamos cuentas: H = -0.99·log₂(0.99) - 0.01·log₂(0.01) ≈ 0.08 bits.

Comparado con una moneda justa (H = 1 bit), la moneda trucada tiene entropía bajísima. Coincide con la intuición de "predecible". No coincide con la intuición de "desorden".

Ahora el caso contrario. Imagina una cadena ADN aleatoria:

ATGCATTGCAGCAGAGCAGTAGCAT...

Visualmente parece desordenada. Cualquiera diría "está hecha un caos". Y sin embargo, si los cuatro símbolos son equiprobables, su entropía es exactamente 2 bits/símbolo. Es alta porque cada símbolo es realmente impredecible, no porque esté visualmente revuelto.

El malentendido termodinámico¶

La entropía de Boltzmann en física es:

S = k · ln(W)

donde W es el número de microestados consistentes con el macroestado observado. Si interpretas "más microestados" como "más maneras de estar revuelto", llegas al cliché del desorden.

Pero la lectura correcta es: cuanta más incertidumbre tengo sobre el estado microscópico cuando solo veo el macroestado, más entropía. Es exactamente la misma noción de Shannon, vestida de física.

Un cristal a 0K tiene baja entropía no porque esté "ordenado" en sentido estético, sino porque conocido el macroestado, conoces el microestado. Cero incertidumbre. Cero entropía.

Por qué importa para programadores¶

Cuando dices que un fichero tiene "alta entropía" en compresión, no quieres decir que esté revuelto. Quieres decir que cada byte es difícil de predecir desde los anteriores.

• Texto en español: baja entropía. La 'u' después de 'q' es casi segura.
• ZIP de ese mismo texto: alta entropía. Cada byte parece independiente.
• Ruido aleatorio: máxima entropía. Cero predictibilidad → cero compresión posible.

Comprimir bien = bajar la entropía aparente de tus datos haciendo explícita la predictibilidad. Y por eso un fichero ya comprimido no se vuelve a comprimir: su entropía está saturada.

Tres relecturas que ayudan¶

1. "Hay mucho desorden" → "hay mucha incertidumbre". Cambia esto en cada texto técnico y rara vez pierdes precisión.
2. "Entropía alta = caos" → "entropía alta = difícil de predecir". Caos suena malo, predicción difícil suena lo que es.
3. "Entropía sube" → "tu modelo del sistema empeora". En termodinámica, en información, y en machine learning, la dirección de la entropía es la dirección en que tu modelo se queda corto.

¿Comentarios o correcciones? info@encodigo.es.