Thread by @f_ronchetti

1/ Visto che avete apprezzato la biografia di #Boltzmann e la sua ferrea convinzione che la materia fosse composta di atomi e che il comportamento di questi fosse descrivibile con metodi statistici vale la pena continuare e capire meglio il concetto di entropia.

2/ Chiameremo sistema una certa quantità di materia o una porzione di spazio su cui si può agire fisicamente (per esempio meccanicamente). Un sistema è delimitato da confini (pareti). Tutto all’esterno del sistema e in grado di interagire con esso viene chiamato “ambiente”.

3/ Troviamo 2 tipi di sistemi: CHIUSI (impermeabili al passaggio della materia) e APERTI. Se le pareti del sistema, oltre ad essere impermeabili alla materia, impediscono anche lo scambio di ogni forma di energia, si ha un sistema ISOLATO. L’Universo è un sistema isolato.

4/ Il sistema avrà una certa sua energia “interna” intrinseca. Per un sistema chiuso (non isolato!) le variazioni di questa energia sono legate alla variazioni di lavoro meccanico e di calore che il sistema stesso subisce.

5/ Come è ovvio l'energia totale di ogni sistema e di ciò che lo circonda, considerati in toto, rimane costante. Questo bilancio energetico è codificato dal Primo Principio della Termodinamica che quantifica passaggi di energia da un sistema ad un altro o da sistema ad ambiente.

6/ Ma c’è un però. Questa prima regola (Primo Principio della Termodinamica) è solo ragioneria. Non fornisce nessuna spiegazione delle cause per le quali questi passaggi di energia si producono talvolta spontaneamente e talvolta no.

7/ Se due corpi a temperatura diversa sono posti in contatto avviene trasferimento spontaneo di calore dal corpo più caldo a quello più freddo ma mai il contrario anche se il Primo Principio non vieta che una pietra sul terreno assorba energia dall’ambiente e diventi rovente.

8/ Ci deve essere un altro meccanismo all’opera che limita l’azione del Primo Principio. Fu scoperto da Rudolf Clausius che esiste una funzione entropia, proprietà intrinseca di ogni sistema termodinamico, le cui variazioni sono legate al rapporto tra calore e temperatura.

9/ La variazione di entropia del sistema e dell’ambiente circostante, considerati complessivamente, è sempre positiva. Bene che ci va possiamo farla tendere a tendere a zero per tutti i processi in condizioni che si approssimano alla cosiddetta reversibilità.

10/ Ma le trasformazioni reversibili sono un artificio e non esistono in natura. Ogni fenomeno fisico è sempre soggetto a forze dissipative che tendono a disperdere l'energia in mille rivoli nell’ambiente circostante e quindi causando in ultima analisi un aumento di entropia.

11/ Matematicamente il Secondo Principio della Termodinamica si esprime come il delta dell’entropia totale (ossia del sistema e dell’ambiente) sempre maggiore di zero e zero solo per trasformazioni reversibili (che non esistono realmente). E’ una legge implacabile.

12/ Le variazioni di entropia sono collegate alla percezione dello scorrere del tempo, anzi ne sono la causa. Infatti le equazioni che governano la fisica (a parte un’eccezione di cui non mi occuperò) rimangono valide se “si inverte il tempo”. Ma che significa invertire il tempo?

13/ Spero di non deludervi ma invertire il tempo non ha nulla a che fare con la fantascienza. Molti divulgatori lasciano cadere la locuzione “inversione temporale” senza entrare nel dettaglio lasciando il lettore in uno stato di suggestione.

14/ L’inversione del tempo si realizza fisicamente invertendo gli impulsi delle particelle. Ci sono tecniche sperimentali per farlo su sistemi semplici. Quindi il sistema continua ad andare avanti nel tempo ma ripercorrendo a ritroso gli stati che ha attraversato.

15/ Mentalmente possiamo pensare a invertire la proiezione di un film. Se i fenomeni fossero effettivamente reversibili non riusciremmo a distinguere il passato dal futuro. Immaginiamo di avere dei poteri speciali che ci permettano di “spegnere” tutti gli effetti dissipativi.

16/ Pensiamo a un pendolo matematico: spostiamolo dalla posizione di equilibrio e facciamolo oscillare. Dato che la corda è perfetta e non ci sono attriti di sorta il pendolo oscillerà in eterno. Dopo che il pendolo è partito iniziamo a riprenderlo con un video.

17/ E’ ovvio che se facciamo vedere il video al contrario ad un nostro amico senza avvisarlo lui non potrà capire in alcun modo che il tempo è stato invertito. Il pendolo non si ferma mai e ogni movimento è reversibile.

18/ Se a un certo punto accendiamo gli attriti il pendolo inizierà a rallentare oscillazione dopo oscillazione e il trucco del video non funzionerà più. Come non avrebbe funzionato riprendendo una goccia di inchiostro nero che cade e si diffonde in un bicchiere di latte.

19/ Se aspettiamo fino a che l’inchiostro nero si è diffuso uniformemente nel latte rendendo tutto grigio e iniziamo a riprendere da quel momento tutto quello che vedremo è un bicchiere con liquido grigio dentro. Invertiamo il e video non potremo distinguere passato e futuro.

20/ Però ora siamo di fronte a una situazione reale. Non abbiamo spento attriti o forze. Sappiamo che in realtà le molecole che compongono il liquido si stanno muovendo molto velocemente. Ma non possiamo comunque definire una freccia del tempo. Perché?

21/ Qui c'è il legame tra entropia e freccia del tempo. Le nostre percezioni non permettono di distinguere quelli che sono i micro-stati del liquido. Le diverse particelle si muovono in modo caotico le configurazioni che assumono sono tutte simili dal punto di vista macroscopico.

22/ L'entropia è infatti spesso descritta come una misura della casualità o del disordine di un sistema: maggiore è il disordine di un sistema, maggiore è la sua entropia. Ora, i concetti di ordine e disordine si possono quantificare grazie alla nozione di probabilità.

23/ Un evento è probabile se si può realizzare in molti modi, mentre è improbabile se può aver luogo soltanto in un numero esiguo di modi. Capiamo quindi che nei movimenti casuali delle particelle di liquido il numero di modi che danno “grigio uniforme” è incredibilmente enorme.

24/ L’evento in cui tutte le particelle di inchiostro si raggrumino per caso in una goccia è invece incredibilmente improbabile anche se corrisponde a un microstato realizzabile fisicamente. I microstati del “grigio” sono tantissimi, quelli “bianco con goccia nera” pochissimi.

25/ Passando dal macroscopico al microscopico e immaginiamo di avere un serbatoio contenente due gas separati da un diaframma. Se apriamo il tubo di collegamento, indicato con =, i due gas andranno incontro ad un inevitabile processo spontaneo di mescolamento.

26/ Il mescolamento renderà impossibile (o meglio altamente improbabile) il ripristino della strutturazione iniziale del sistema quando c’era il confinamento delle due sostanze in due specifiche regioni di spazio una a destra e una a sinistra.

27/ Facciamo un esperimento; usiamo sostanze gassose che indichiamo con simboli diversi. A, B, C, D. A è una molecola del gas A. Inizialmente usiamo una sola molecola che disponiamo in due contenitori collegati da uno stretto collettore (=) in grado di far passare la particella.

28/ Se inizialmente abbiamo un'unica particella nel contenitore di sinistra, ci sono solo due possibili disposizioni. La molecola può essere o nel contenitore di sinistra o migrare in quello di destra. Ciascuna di queste due possibili configurazioni viene chiamato microstato.

29/ Quindi abbiamo una cosa come:
| A = | oppure | = A |. Se abbiamo due molecole, ci sono quattro possibili configurazioni o quattro microstati.
| AB = | oppure | A = B | oppure
| B = A | oppure | = AB |. L’ordine AB o BA è ininfluente.

30/ Se abbiamo tre molecole A, B, C ci sono 8 micro stati | ABC = | oppure | AB = C | eccetera. Se chiamiamo: W il numero di microstati, N il numero di posizioni possibili e x il numero di particelle, avremo W=N^x

31/ Nel caso di un dispositivo con due contenitori, come abbiamo visto W=2^1=2 con una particella, W=2^2=4 con due particelle, W=2^3=8 con tre particelle e si vede come ogni particella aggiunta al sistema raddoppia il numero di microstati.

32/ Con 4 particelle il numero di microstati è W=2^4=16. A questo punto però cerchiamo di individuare quale tipo di distribuzione di particelle nei recipienti sia la più probabile.

33/ Avere tutte le particelle nel contenitore di sinistra rappresenta il microstato | ABCD = | e averle tutte in quello di destra un altro microstato | = ABCD |. Abbiamo due famiglie diverse di microstati del tipo (4+0) e (0+4).

34/ Poi abbiamo 4 microstati della famiglia (3+1):
| ABC = D | + | DAB = C | +
| CDA = B | + | BCD = A | e 4 della famiglia (1+3) con
| D = ABC | + | C= DAB | +
| B= CDA | + | A = BCD |

35/ Rimangono ora i microstati con due particelle a sinistra e due a destra tipo | AB = CD |. Senza scriverli tutti si capisce che sono tutti della famiglia (2+2) e sono 6.

36/ Quando le particelle si distribuiscono equamente, cioè due per contenitore, ci saranno sei microstati per la famiglia (2+2). Per la famiglia (1+3) sono 4 casi, come 4 casi per quella (3+1). Per la famiglie (4+0) un caso e anche (0+4) c’è un caso.

37/ Quindi i microstati del tipo (2+2) con una molecola a destra e una a sinistra rappresentano la distribuzione più probabile. Quando il numero di molecole è pari al numero di Avogadro, paragonabile alla scala macroscopica, questo comportamento si ripeterà praticamente sempre.

38/ Quindi macroscopicamente vediamo sempre la distribuzione più probabile, quella con il maggior numero di microstati, sarà quella che prevede una equa distribuzione delle particelle nei vari contenitori ossia la (N/2+N/2).

39/ Nel 1868 Boltzmann dimostrò che l'entropia di un sistema è correlata al logaritmo naturale del numero di microstati (W) che abbiamo appena calcolato per un caso semplice come quello dei due contenitori collegati da un canale.

40/ Dato un sistema, maggiore è W, maggiore sarà la sua entropia. Il secondo principio della termodinamica è quindi fondato sulla statistica, anzi è un principio totalmente statistico. Gli eventi si svolgono nella direzione verso la quale è più probabile che si dipanino.

41/ Il calore fluisce nella direzione in cui la temperatura diminuisce perchè è miliardi di miliardi di volte meno probabile che facesse altro. Le leggi fisiche, sono reversibili (e indipendenti dalla direzione del tempo) ma il Secondo Principio della Termodinamica non lo è.

42/ Postulando un continuo aumento dell'entropia, il secondo principio impone un andamento unidirezionale degli eventi fisici e niente può avvenire in modo opposto, perchè questo comporterebbe una diminuzione di entropia.

43/ Nessuna partizione dell’Universo potrebbe mai essere fatta tornare indietro come si potrebbe fare con un ideale congegno a meccanico. Diminuzioni locali di entropia sono possibili a scapito di spendere continuamente energia come accade per il metabolismo degli esseri viventi.

44/ Il Terzo Principio della termodinamica dice più o meno che l'entropia di una sostanza cristallina perfetta, è zero a 0 K. Per una tale sostanza a 0 K non c'è alcun movimento molecolare e il numero di microstati W è 1 cioè vi è un unico modo per disporre atomi o molecole.

45/ Come misura del grado di disordine o di indeterminazione di un sistema, il concetto di entropia ha potuto essere esteso ad ambiti di applicazione lontani dalla fisica, primo fra tutti la teoria dell’informazione.

46/ Negli anni quaranta Claude Shannon definì l’equazione con cui calcolare il livello di imprevedibilità di una sorgente d’informazione, e trovò che la sua formula era praticamente uguale a quella con cui Boltzmann aveva calcolato l’entropia di un sistema termodinamico.

47/ Per Shannon il problema era misurare quanta “informazione” contiene un dato messaggio, e quindi, di conseguenza, quanto costa inviarlo lungo una linea, dato un sistema di trasmissione e le difficoltà che il canale di trasmissione (in generale affetto da rumore) può avere.

46/ La quantità di informazione prodotta da una sorgente che può produrre N parole equiprobabili è pari a I=log2(N), una formula che a meno della costante k e dell’uso del logaritmo in base due invece di quello naturale è identica a quella di Boltzmann.

49/ La formula di Shannon per il DNA con N=4 basi possibili dà per ogni base una informazione pari a Log2(4) = 2 bit. Gli amminoacidi sono 20 per cui permettono di distinguere 20 stati diversi. Ogni amminoacido porta una quantità di informazione pari a log2(20)=4,32 bit.

50/ L’idea di Shannon fu quella di equiparare il “grado di ignoranza” al disordine termodinamico. Viceversa il messaggio è la quantità di informazione necessaria per ridurre l’incertezza del ricevente “abbassare la sua entropia”. Ma c’è una sottigliezza.

51/ La quantità di informazione per ridurre un grande disordine è tanta. Quindi l’informazione è proporzionale al “disordine” della meccanica statistica. L’entropia della teoria dell’informazione è quindi misura del grado di complessità di un messaggio emesso da una sorgente.

52/ Essa fornisce il numero medio minimo di simboli necessari alla codifica del messaggio. In questo contesto l'entropia misura dunque la quantità d’incertezza o informazione presente in un segnale aleatorio.

53/ La connessione con l'entropia dei sistemi fisici si recupera nel rapporto di compressione: al diminuire della temperatura (in termodinamica) corrisponde la riduzione della ridondanza del segnale e quindi l'aumento della compressione (in teoria dell’informazione).

54/ Se pensate al romanzo Guerra e Pace di 1800 pagine e a un equivalente romanzo Random con caratteri a caso della stessa lunghezza e pensate questi due romanzi come un file Word capite subito che zippare Guerra e Pace è più efficiente che zippare il romanzo Random.

55/ Trasmettere il romanzo Random quindi costa di più che trasmettere Guerra e Pace. In un certo senso il romanzo Random contiene più “informazione” di Guerra e Pace ma codifica meno significato. Quindi il significato e l'informazione sono due entità molto diverse.