Fantastic lecture by Bill Dally (NVIDIA) on Deep Learning Hardware.
With one clear lesson: DEEP LEARNING WAS ENABLED BY HARDWARE.
The theory and the algorithms were known since few decades, but deep learning only started to work when computing hardware became sufficiently advanced to enable the training of a complex network in a reasonable time (the famous AlexNet paper).
Second lesson: hardware is not enough. A properly optimized software stack can lead to performance improvements of orders of magnitude.
The University of Pisa has added 5 two-year fellowships for those that apply in the conditions of 1., obtain a total mark higher than 85/100 (the so-called Seal of Excellence) but are not selected for the MSCA fellowship. The winning probability gets higher.
If you are interested, just contact me, and let me see how we can help in the preparation of the proposal.
We have a similar option also for a postdoctoral fellowship on “Electronic systems for Implantable Medical Devices”. You know how to contact me
Courtesy of Cerebras: the Cerebras Wafer-Scale Engine
Il 28 dicembre sono stati selezionati dall’ANVUR i 180 dipartimenti eccellenza delle università statali per il quinquennio 2023-2027, valutati sulla base valutazione della ricerca svolta nel quinquennio 2015-2019 e di un progetto scientifico, organizzativo e didattico per il periodo 2023-2027. I dipartimenti delle università statali sono oggi 787: 350 sono stati selezionati per la seconda fase (con un massimo di 15 per ogni università), da cui poi sono stati scelti i 180 vincitori.
Questa è la lista delle università ordinata per il numero dei dipartimenti di eccellenza. Per chiarezza è indicato il numero di tutti i dipartimenti di ciascuna università e il rapporto tra il numero dei dipartimenti di eccellenza e il numero dei dipartimenti di ciascuna università.
C’è poi da aggiungere che il meccanismo fa sì che ogni università abbia con alta probabilità almeno un dipartimento di eccellenza, per cui nell’ultima colonna ho corretto il rapporto escludendo un dipartimento (sia al numeratore sia al denominatore) per correggere.
Colpiscono subito in positivo Milano Statale, Napoli Federico II e Milano Bicocca, poi Trento e Verona, abbastanza bene Pisa, Bologna, Padova, Firenze, e poi tanti fermi a uno, relativamente facile. Peccato per l’università della Calabria, che nell’altro quinquennio aveva fatto abbastanza bene.
Guardiamo la stessa lista orientata in base al rapporto tra i dipartimenti di eccellenza e i dipartimenti totali. In verde le università sopra la media nazionale, in rosso quelli sotto.
Ordinata in questo modo, possiamo apprezzare il risultato ottimo di Milano-Bicocca, con più della metà dei dipartimenti di eccellenza. IUAV e Sant’Anna fanno en plein, ma su numeri molti piccoli. Molto bene anche Verona, Ca’ Foscari, Trento, Napoli Federico II, e Milano Statale (>40%).
Menzione particolare alle grandi università che hanno superato i 10 dipartimenti di eccellenza: Federico II, La Sapienza, Milano Statale, Bologna e Padova, perché comunque in fase due non si potevano presentare più di 15 dipartimenti, sebbene scelti tra i più forti.
Due riflessioni finali:
A livello del Paese è importante potenziare il sistema universitario al sud: si vede bene che l’unica grande università del sud e isole sopra la media è la Federico II, che è da anni su un percorso virtuoso.
L’altra cosa importante è che università relativamente giovani possono crescere in fretta e bene, raggiungendo dimensioni medie e qualità elevata, se guardiamo in primis Milano Bicocca (fondata nel 1998) e anche Trento (fondata nel 1962).
Post Scriptum:
Un commento per Pisa: A caldo ho detto “abbastanza bene”: 7 è un buon punto di partenza rispetto ai soli 2 ottenuti per il quinquennio precedente (a loro merito confermati in questa edizione). E’ un po’ sopra la media nazionale, siamo allineati al risultato di Bologna e Padova (che hanno fatto un po’ peggio della prima edizione). Testimonia un lavoro intenso sulla ricerca fatto nei 5 anni passati e una maggiore attenzione presentata alla definizione del progetto e alla VQR.
A new paper is out: All-Analog Silicon Integration of Image Sensor and Neural Computing Engine for Image Classification, a collaboration among Università della Calabria, Quantavis and Università di Pisa.
A single silicon chip demonstrator including image sensors and a low-resolution image classification neural network, all based on analog computing and signal processing on standard CMOS technology.
The rationale is that if we can suppress energy- and time-inefficient operations, such as analog-to-digital conversion and data transmission, we can build a cognitive image sensor, with embedded classification capabilities for applications in which low power and small volume are critical, such as wearable and mobile healthcare electronics or autonomous microrobots and drones.
In parallel, we investigate this concept for a technology based on 2D Materials in the H2020 QUEFORMAL project (Quantum Engineering for Machine Learning https://www.queformal.eu) , and for sensors in harsh environments using silicon at very high temperatures in the Charm ECSEL project https://charm-ecsel.eu/project/.
Kudos to Benjamin Zambrano, Sebastiano Strangio, Marco Lanuzza, Tommaso Rizzo, Esteban Garzón.
By the way, next week we start teaching a full new course on neuromorphic circuits and devices
Uno dei compiti istituzionali di un’università è essere un motore di innovazione e di sviluppo economico per tutto il Paese, non solo attraverso la formazione degli studenti in tutte le discipline, ma anche favorendo la nascita e la crescita di nuove imprese a partire dai risultati della ricerca e dalle competenze scientifiche e tecniche della comunità accademica.
Da molto tempo discutiamo di come svolgere al meglio questo compito con Corrado Priami, prof di Informatica presso la nostra università. Corrado ha una diretta e vasta esperienza sul campo, e vede enormi opportunità.
In questa parte del Paese in cui le imprese innovative sono francamente poche e troppo piccole, come ci diciamo spesso, solo l’Università di Pisa può davvero fare da catalizzatore dell’innovazione, promuovendo la costituzione di un incubatore di impresa che coinvolga grandi imprese industriali e investitori finanziari, e in cui la nostra università possa fornire le competenze tecniche e scientifiche.
Forza allora! Grazie Corrado per le idee e il sostegno!
Arturo Marzano è prof. di storia del Medio Oriente, con un entusiasmo contagioso per il ruolo dell’università e una franchezza disarmante. Ci confrontiamo su come sfruttare il potenziale di attrazione della nostra area umanistica nei confronti degli studenti di tutto il mondo. È un enorme opportunità che abbiamo appena cominciato a cogliere. Una laurea triennale di “Liberal Arts” a Pisa? Non perderemo questa occasione!
Rolf Landauer was and is a myth of my generation, a superb physicist that provided extremely important contributions to the theory of quantum transport and to the physical nature of computation. A towering figure for the depth of his insights and their impact on multiple fields. I happened to work in a field he had done some work in the 90s.
Once he scared me, almost.
I still remember the feeling when I received a parcel from him including some of his reprints and the sheet of paper in the photo: the xerox copy of the first page of the paper we had just published (my very first paper) with a half-page message from him.
Apparently, he had noticed our paper, and took the time to write me to say that he was upset because we had not adequately cited his work, therefore in exchange he felt free not to cite our work “until the end of the century”!
I was just starting the second year of my PhD, and did not know anything. On the one hand I was honoured he had noticed our work (I later learned that he read everything related to his field and often sent a feedback). On the other hand, I felt I had started with the wrong foot, upsetting a big name, plus I did not really know how to behave.
I did not reply. I continued to work. Luckily, the century was close to the end.
In fact, he cited some of our work in a Nature “News and Views” article of his in 1998, so he was probably joking, just to scare me. I now suspect many have a similar story about Rolf Landauer.
I have a copy of this sheet always in my backpack, as a lucky charm.
I often say that the distinction between basic and applied research is a cold war concept, with reference to the first public moment in which this division was formalized, the “Science, The Endless Frontier” report by Vannevar Bush to president Truman, inspiring the creation of the NSF in the USA.
I am most attached to the concept of Pasteur’s quadrant, a type of research that aims to the understanding of the deep nature of the world and is inspired to the possible use of such knowledge.
It is a concept that we can easily grasp if we divide the research space in four quadrants, naming them with representative scientists, as in the figure taken from Donald Stokes’ book. Pasteur’s quadrant is different from Bohr’s quadrant (research aimed at fundamental understanding without consideration for use) and from Edison’s quadrant (research aimed at use and technology that does broaden our fundamental understanding of the world.
When we talk about basic and applied research with old categories we automatically fall into Bohr’s and Edison’s quadrants.
Also, public research policies tend to slip into Bohr’s or Edison’s quadrants, but I think that the key to prosperity and wellbeing is Pasteur. An effort has to be made, at least in the public debate and in the identification of key themes and sectors.
Dico spesso che la divisione tra ricerca di base e ricerca applicata è un concetto da guerra fredda, riferendomi al primo momento pubblico in cui questa divisione fu formalizzata, il rapporto “Science, The Endless Frontier,” di Vannevar Bush al presidente Truman, che ispirò la creazione della National Science Foundation negli USA.
Il concetto a cui sono invece più legato è quello del quadrante di Pasteur, un tipo di ricerca che punta alla comprensione della natura profonda del mondo ed è ispirata ai possibili impieghi della conoscenza.
È un concetto che si capisce bene se dividiamo lo spazio della ricerca in 4 quadranti, dando loro il nome scienziati rappresentativi della categoria, come nella figura qua sopra del libro di Donald Stokes. Il quadrante di Pasteur è distinto dal quadrante di Bohr, la ricerca mirata alla comprensione fondamentale ma senza considerazione per l’uso finale, e dal quadrante di Edison, la ricerca mirata all’uso e alla tecnologia che non tende ad ampliare la comprensione fondamentale del mondo.
Quando si parla di ricerca di base e applicata con vecchie categorie si ricade di riflesso nei quadranti di Bohr e Edison.
Anche nelle politiche pubbliche sulla ricerca si tende a scivolare nel quadrante di Bohr o di Edison, ma credo che la chiave per la prosperità e il benessere sia Pasteur. Uno sforzo va fatto, almeno nel dibattito pubblico e nell’identificazione di temi e settori chiave.
