Il termine entropia fu usato per la prima volta dal fisico tedesco Rudolf Julius Emanuel Clausius (1822-1888) con la seguente motivazione:
"propongo il nome di entropia (...), partendo dalla parola greca etropé che significa trasformazione. Intenzionalmente ho formato il termine entropia in modo tale da renderlo il più simile possibile al termine energia: infatti entrambe questa quantità (...) sono così strettamente connesse l'una all'altra dal punto di vista del significato fisico che mi pare utile una certa analogia anche nei loro nomi".
Il concetto di entropia ha avuto diversi ampliamenti ed evoluzioni dalla sua prima enunciazione. Clausius lo definì nell'ambito dei suoi studi di termodinamica come S=ΔQ/T dove Q è la quantità di energia scambiata durante un processo termodinamico e T è la temperatura a cui avviene lo scambio. L'entropia si misura in J/K (Joule su grado Kelvin). Durante un qualunque processo di trasformazione irreversibile di energia che avvenga in un sistema chiuso o isolato l'entropia aumenta. Fu immediatamente chiaro che l'entropia coinvolgeva caratteristiche fondamentali del modo di funzionare del nostro universo. Il fatto che l'universo nel suo insieme possa essere considerato un sistema chiuso fa si che la sua entropia debba necessariamente aumentare. Ciò potrebbe condurre, in un tempo più o meno lungo, a quella che viene chiamata la morte termica dell'universo: quando l'entropia sarà arrivata al massimo non sarà più possibile avere alcuna trasformazione e quindi tutto si fermerà.
Già Clausius mise in relazione l'entropia con il grado di disordine di un sistema.
Parlare di disordine di un sistema però sembra implicare una valutazione se vogliamo di tipo umano dello stato del sistema analizzato. Maxwell (1831-1879) per primo sottolineò questa ambigua caratteristica. Egli mise in luce un singolare paradosso. Se per esempio mescoliamo due recipienti di due gas diversi realizziamo un tipico esempio di processo irreversibile nel quale l'entropia aumenta, se però mescoliamo due recipienti di gas identico l'entropia resta identica.
Questa considerazione lo portò ad affermare che "l'entropia non è una proprietà del sistema in sé, ma esprime la conoscenza del sistema stesso da parte dell'osservatore". Vedremo che questa concezione assume ancora maggiore importanza quando si considera l'entropia nell'informazione. Egli asserì inoltre "L'energia dissipata è energia che non possiamo controllare e dirigere a piacere, così come l'energia di quell'agitazione confusa delle molecole che chiamiamo calore. Ora, la confusione, come il termine correlato ordine, non è una proprietà delle cose materiali in sé, ma è solo relativa alla mente che le percepisce".
La successiva elaborazione del concetto di entropia la dobbiamo a Boltzmann (1844-1906). Egli mise in relazione il secondo principio della termodinamica con la probabilità. Riuscì ad escogitare un metodo per misurare il grado di disordine di un sistema su base statistica ed evidenziare l'aumento di entropia su base probabilistica. Eseguiamo un esercizio immaginario allo scopo di comprendere la concezione di Boltzmann. Immaginiamo una scatola nella quale inseriamo, perfettamente impilati ed orientati un certo numero di dadi, ad esempio tutti con il numero 1 verso l'alto. Adesso agitiamo la scatola per simulare un qualunque processo irreversibile, condizionato dalle semplici leggi della probabilità. Vedremo che l'ordine iniziale tende a perdersi e nella scatola osserveremo dei dadi orientati secondo le più svariate direzioni. Se continuiamo ad agitare abbastanza a lungo vedremo che i dadi tenderanno ad assumere tutte le configurazioni possibili. Boltzmann propose di contare gli stati in cui si trovano i dadi come indice di disordine e quindi di entropia. Egli affermò quindi che l'entropia intesa come misura statistica degli stati termodinamici presenti in un sistema tende ad aumentare ed è indice dello stato di disordine del sistema.
Da allora entropia e disordine di un sistema sono divenute strettamente correlate ed ha portato alla concezione che l'universo tende al disordine.
Naturalmente però ci sono evidenze in natura di processi esattamente inversi rispetto a quello enunciato dal secondo principio. E' fuor di dubbio che ad esempio l'evoluzione biologica non sembri tendere al disordine. Al contrario, se pensiamo all'incredibile stato di organizzazione dei neuroni nel cervello, per fare un solo esempio, ci troviamo di fronte ad un esempio sia di grande ordine che di bassissima probabilità di genesi casuale di una tale struttura. Ma queste considerazioni aprirebbero un campo di discussione enorme che non vogliamo qui affrontare.
Merita però in questo quadro un accenno ad Ilya Prigogine (1917-2003). Egli elaborò il concetto di struttura dissipativa, ovvero un sistema aperto che scambia energia con l'esterno e che pur producendo entropia è capace di strutture organizzate. Naturalmente questa concezione è di grande utilità per i sistemi biologici. Le strutture dissipative infatti manifestano una caratteristica importante, vicino all'equilibrio l'ordine tende a scomparire invece lontano dal punto di equilibrio si crea ordine e si generano nuove strutture.
Shannon (1916-2001) si trovò ad affrontare il problema dell'entropia applicata all'informazione. Come è ovvio anche nell'informatica si pone la questione di ordine e disordine nelle informazioni. Più esattamente in informatica si distingue tra informazione e dato, dove si intende per dato il semplice contenuto e per informazione il dato arricchito di significato. E' evidente che il problema evidenziato da Maxwell sull'influenza dell'intelligenza sull'interpretazione dei dati e quindi delle informazioni raggiunge in questo contesto un peso veramente notevole. Ad esempio, un libro sulla teoria della relatività scritto in russo perde il suo contenuto di informazione se chi legge non conosce il russo? E se per ipotesi tutte le persone dimenticassero il russo, che fine farebbe l'informazione di quello stesso libro?
Shannon propose una misura dell'entropia nell'informazione intesa come incertezza dell'informazione su un messaggio o un fenomeno. Se una situazione è perfettamente prevedibile a priori non c'è alcuna incertezza e quindi l'entropia è nulla. Tale concezione si può esprimere anche come mancanza di informazione ed è quindi concettualmente corrispondente al grado di disordine nel senso che meno si sa su un fenomeno ovvero più informazione manca più grande è l'entropia. Da un punto di vista quantitativo l'entropia nell'informazione si misura in bit, ovvero con la stessa unità di misura dell'informazione. Possiamo dunque dire che entropia ed informazione sono equivalenti anche se è forse più corretto affermare che l'entropia è mancanza di informazione.