Nella teoria dell'informazione l'entropia è una misura della quantità di informazione contenuta in un messaggio trasferito attraverso un canale di comunicazione. L'unità di misura tipica di questa grandezza è il Bit.