Shannon: chi era il padre della teoria dell’informazione

Grazie a pensatori come Alan Turing e John von Neumann si sono aperte le porte sull’era dei calcolatori. Il loro contributo è stato essenziale, decisivo. Ma chi ha gettato le solide fondamenta sulle quali edificare la nuova teoria dell’informazione, chi è riuscito a svincolare, a catturare l’essenza dell’informazione cioè ad astrarla dal mondo materiale è stato Claude Shannon. Il quale insieme a Kotelnikov in Unione Sovietica, svilupparono indipendentemente la teoria dell’informazione, che avrebbe rivoluzionato il mondo telecomunicazioni.

La famiglia Shannon

Gaylord è una piccola e ridente cittadina rurale di 3000 abitanti immersa nel verde. Frutteti, boschi di aceri, faggi. Una cittadina del Michigan dove il signor Claude Shannon Sr. vive ed è gestore di un negozio di mobili. Mentre la signora Mabel Wolf, nata a Lansing il 14 settembre 1880, figlia di un emigrato dalla Germania e seconda moglie di Shannon Sr, insegna lingue in un liceo della sua città natale, Lansing, situata a pochi chilometri da Gaylord. Lansing è anche il luogo dove i due convolarono a nozze nell’agosto del 1909. Molto religiosi e devoti fedeli, erano assidui frequentatori di una locale chiesa protestante. Ebbero due figli, la primogenita Catherine, nata nel 1910, e Claude Jr. nato nel 1916.

Infanzia

Claude Elwood Shannon nacque a Petoskey, in Michigan, il 30 aprile del 1916. Trascorre la sua infanzia nella città di Gaylord. Una tranquilla e normale infanzia, nella quale a eccellere in famiglia non è lui ma la sorella maggiore. Studentessa modello con il bernoccolo per la matematica e dotata di una spiccata creatività. A questa creatività vi si aggiunge la passione per la musica e per il pianoforte. Catherine riesce a laurearsi in matematica alla Michigan University.

Una tale preparazione suscitò molta curiosità in un giovane Claude e una spinta a dare il meglio. Infatti, fu proprio lui in un momento successivo a dichiarare: “Il talento di mia sorella per la matematica potrebbe aver indotto il mio interesse per questa materia”. Claude conseguì il diploma alla Gaylord High School nel 1932, riuscendo contemporaneamente a svolgere piccoli lavoretti, tra i quali: consegnare telegrammi e riparare radio.

Nello stesso periodo, il suo interesse per come funzionassero le cose e per il fare, un Maker ante litteram, lo spinsero verso la realizzazione di apparecchiature. Iniziò la costruzione di un telegrafo con il quale riuscì a collegare casa sua con quella  di un suo amico. Cablandolo con il filo spinato che circondava e proteggeva le loro abitazioni.

Studi

Claude Shannon, padre della teoria dell’informazione, consegue il diploma alla Gaylord High School nel 1932. Seguendo le orme di famiglia, si iscrive all’università, la madre Mabel e la sorella Catherine erano entrambe laureate. Alla Michigan University, nel 1936 taglia il primo traguardo conseguendo la laurea di primo livello in matematica.

La sua passione per lo studio, il crescente bisogno di ingegneri, imposto anche dagli infausti eventi storci che l’America e il mondo attraversavano, gli suggeriscono di continuare l’università. Decise di approfittare di un annuncio che vede attaccato alla bacheca del Dipartimento di Ingegneria Elettrica del MIT. Tale annuncio bandiva un posto come studente-assistente alla realizzazione del famoso analizzatore differenziale, un computer analogico elettromeccanico, progettato per risolvere equazioni differenziali. La fortuna è dalla sua parte, entra al MIT. Claude consegue (grazie anche al vantaggio ricevuto dalla sovrapposizione di molti degli esami dei due differenti corsi) la laurea in ingegneria elettrica. In seguito, dichiarerà: “Grazie a questa sovrapposizione di esami, la seconda laurea non mi è costata molta fatica.”

Gli anni del MIT

Al MIT, entra nel gruppo di Vannevar Bush, creatore dell’analizzatore differenziale. Bush grazie al suo spessore scientifico e alla sua notorietà nel mondo accademico americano, in seguito venne anche assegnato, espressamente dal presidente Roosevelt, alla National Defense Research Committee, contribuendo allo sviluppo di apparati militari con dei ruoli perfino nel Progetto Manhattan.

In quanto assistente, le mansioni di Shannon consistevano nel manutenere e nel controllare i complessi componenti dell’analizzatore. Componenti composti anche da centinaia e centinaia di relè. Ma la svolta, il giro di boa, arriva nel 1937, quando dal MIT si reca a New York, in un luogo nel quale un altro gruppo di persone stava simultaneamente studiando di avvicinare la logica matematica alla progettazione dei circuiti. Quel luogo erano i Bell Laboratories, a quei tempi laboratori della compagnia telefonica americana, nei quali Shannon si recava per un tirocinio estivo.

La svolta

Dopo questo periodo di tirocinio estivo, Shannon inizia a comporre il suo puzzle mentale: mette insieme per la prima volta, le conoscenze che aveva della logica di Boole con i circuiti. Combinando così l’algebra Booleana (l’algebra sviluppata a metà del XIX secolo dal matematico inglese George Boole) con i circuiti elettrici a commutazione con lo scopo di ridurre, o meglio, semplificare le commutazioni nelle reti telefoniche con interruttori e relè.

Le sue idee e i suoi studi vennero pubblicati nella tesi di laurea del MIT, ”A Symbolic Analysis of Relay and Switching Circuits” pubblicata nel 1938 sulle “Transactions of the American Institute of Electrical Engineers”. Nei decenni successivi fu definita «la più importante tesi che sia mai stata scritta».

Shannon e la teoria dell’informazione

Shannon era famoso per la sua memoria e intelligenza senza uguali. Riusciva a dettare articoli scientifici a memoria e molto raramente utilizzava schizzi o appunti. È stato arruolato dal Pentagono per la ricerca in ambito di guida dei missili e dopo la fine della Guerra, nel 1948, pubblicòil saggio in due parti “Una teoria matematica della comunicazione”. Questo lavoro è considerato una delle ricerche fondamentali che hanno gettato le basi per la moderna teoria dell’informazione. Nell’articolo, Shannon definì i componenti essenziali delle comunicazioni digitali:

• L’informazione di partenza, che costituisce il messaggio iniziale.
• Il trasmettitore, che riceve le informazioni e le traduce in un messaggio da trasmettere attraverso il canale.
• Il canale, che agisce come mezzo di trasmissione del segnale, assicurandone la consegna al destinatario.
• Il ricevitore, che riceve il segnale trasmesso attraverso il canale e lo decodifica.
• Il destinatario, che può essere una persona o una macchina, il quale riceve il messaggio e ne comprende il significato.

Nel suo lavoro, Shannon sviluppò i concetti fondamentali di entropia e ridondanza informativa, che sono alla base della teoria dei codici e della codifica di sorgente nelle comunicazioni digitali.

Shannon, il padre dela parola “bit”

In questo articolo, Shannon coniò la parola “bit” che oggi ci è così familiare. Il bit è una contrazione di “binary digit” (cifra binaria). È l’unità di misura fondamentale utilizzata per quantificare e rappresentare l’informazione in ambito digitale. Un bit può assumere due valori distinti: 0 o 1. Rappresenta la più piccola unità di dati che può essere elaborata o memorizzata in un sistema di elaborazione o trasmissione delle informazioni.

Il concetto di bit è alla base del sistema binario, che è ampiamente utilizzato nella tecnologia digitale, nei calcolatori e nelle telecomunicazioni. Combinando i bit, è possibile rappresentare informazioni più complesse, come numeri, testo, immagini e suoni, utilizzando codifiche specifiche.

Il Teorema di Shannon

I contributi più importanti Di Shannon sono stati senza dubbi i suoi teoremi sul campionamento e la codifica. E se vi dicessimo che possiamo ascoltare la nostra musica preferita su dispositivi digitali, grazie solo al Teorema Shannon, il fondatore della teoria dell’informazione? Egli, nel 1949, enuncio è dimostrò in un articolo scientifico il teorema del campionamento che consente di stabilire le condizioni in cui è possibile trasformare un segnale analogico in uno digitale senza degradarne la qualità. In realtà, il teorema dovrebbe chiamarsi Whittaker-Nyquist-Kotelnikov-Shannon (WNKS), secondo l’ordine cronologico di chi ne dimostrò versioni via via più generalizzate.

Ma non solo, l’altro importante Teorema di Shannon usato nelle telecomunicazioni, prende il nome di: “Teorema della codifica in presenza di rumore”. Nella teoria dell’informazione, il secondo teorema di Shannon, noto anche come “Teorema della codifica di canale”, afferma che nonostante la presenza di rumore in un canale di comunicazione, è ancora possibile trasmettere dati o informazioni attraverso tale canale con una probabilità di errore Pe piccola a piacere, fino a una determinata frequenza massima.

Questo risultato sorprendente, considerato il teorema fondamentale della teoria dell’informazione, è stato presentato per la prima volta da Claude Shannon nel 1948. La capacità di Shannon, o limite di Shannon, rappresenta il massimo tasso di trasferimento di dati che un canale di comunicazione può fornire per un determinato rapporto segnale/rumore, mantenendo un basso tasso di errore a piacere.

La vita accademica

Nel 1949 pubblica “La teoria della comunicazione nei sistemi crittografici”, dando vita alla teoria matematica della crittografia. Dal 1956 diventa membro della National Academy of Sciences e oltre alla sua passione per la matematica e l’ingegneria Shannon era anche un giocoliere e scacchista e si dilettava con il monociclo. In quegli anni diventa anche professore e ricercatore del MIT.

Claude Shannon è morto il 24 febbraio 2001 a Medford nel Massachusetts. Gli sono state dedicate sei statue, tra cui una all’Università del Michigan, una al MIT e un’altra presso i Laboratori Bell.

Main image credits: “Estate of Francis Bello / Science Source“