¿Qué es "entropía y ganancia de información"?

Estoy leyendo este libro ( NLTK ) y es confuso. La entropía se define como : La entropía es la suma de la probabilidad de cada etiqueta por la probabilidad de registro de esa misma etiqueta ¿Cómo puedo aplicar la entropía y la entropía máxima en términos de minería de texto? ¿Alguien puede...