In informatie theorie is dit technisch een indicatie van het gebrek aan organisatie in een systeem, of de mate van openheid in de boodschap. Als een bericht begint bijvoorbeeld ' de kat... "er is een groot aantal mogelijke manieren waarop deze kan worden voltooid, en hebben daarom een hoge entropie. Maar als het bericht leest ' de kat zat op de mat voor een warme... "het is al sterk georganiseerd of gestructureerd en er is zeer weinig andere keus over het volgende woord. Entropie is dan ook laag.