"Arról már hallottam, hogy az információnak is van entrópiája (Shannon?), de nem tudom, ez mit jelent. "

Az egy szimbólumra jutó átlagos kódhossz (legjobb kódolás mellett) adott független és egyforma eloszlású szimbólumhalmazból vett sorozatokra.