La via italiana ai chatbot del futuro: presentata Minerva 7B, l’ultima versione del modello linguistico IA targato Sapienza, addestrato con 1.5 trilioni di parole e che alza lo standard di sicurezza degli LLM italiani

Minerva 7B stata sviluppata in ambito FAIR (Future Artificial Intelligence Research) e in collaborazione con CINECA

Roma, 26 novembre 2024 – L’eccellenza della ricerca Sapienza nel campo dell’Intelligenza artificiale: è stato annunciato oggi il rilascio di Minerva 7B, l’ultima versione della famiglia dei modelli Minerva, i Large Language Model (LLM) addestrati “da zero” per la lingua italiana.
Il nuovo modello linguistico Minerva è stato realizzato dal gruppo di ricerca Sapienza NLP (Natural Language Processing), guidato dal Prof. Roberto Navigli, all’interno di FAIR (Future Artificial Intelligence Research), il progetto che realizza la strategia nazionale sull’intelligenza artificiale grazie ai fondi PNRR, e in collaborazione con CINECA che ha reso disponibile il supercomputer Leonardo.
Alla presentazione la Rettrice della Sapienza Antonella Polimeni, il Presidente FAIR Giuseppe De Pietro, la Direttrice Generale CINECA Alessandra Poggiani e il docente alla guida del gruppo Sapienza NLP Roberto Navigli, che ha illustrato le caratteristiche della nuova versione, con il supporto di una demo.

Minerva 7B è una versione più potente di quella messa in rete lo scorso aprile, forte di 7 miliardi di parametri contro i 3 della precedente, e quindi con maggior capacità di memorizzazione e rielaborazione dei testi, sempre basata su fonti aperte di dati, elemento distintivo nel panorama degli LLM.
Dopo oltre 5 mesi di lavoro incessante, il team di ricerca è approdato a questa nuova versione per un totale di oltre 2 trilioni (migliaia di miliardi) di token, corrispondenti a circa 1,5 trilioni di parole. Mediante un nuovo mix di istruzioni create appositamente in italiano, Minerva 7B è stato sottoposto al cosiddetto processo di instruction tuning, una tecnica avanzata di addestramento per i modelli di intelligenza artificiale che mira a fornire la capacità di seguire le istruzioni e di colloquiare con l’utente in italiano.

Grazie appunto all’instruction tuning Minerva è in grado di interpretare meglio le richieste e di generare risposte più pertinenti, coerenti e adattate al contesto, evitando per quanto possibile le cosiddette allucinazioni e la generazione di contenuti di tipo volgare, sessuale, discriminatorio e sensibile. Si tratta di un tema cruciale che riguarda tutti i chatbot, particolarmente sentito dai ricercatori del team della Sapienza.
Il Prof. Navigli ha mostrato durante la demo diverse conversazioni con il modello, tra cui la richiesta di scrivere una favola, di tradurre e riassumere un breve testo, e ha mostrato la robustezza del modello a richieste che potrebbero generare contenuti sensibili o discriminatori.

“Il nostro impegno è continuare a lavorare per massimizzare la sicurezza e gli aspetti conversazionali in una sorta di laboratorio permanente, con la consapevolezza scientifica che il rilascio di oggi non è un traguardo ma un punto di partenza – sottolinea Roberto Navigli – La scarsità di dati di qualità in italiano, sia per il preaddestramento linguistico che per le conversazioni e le istruzioni, è uno dei temi chiave che intendiamo affrontare nei prossimi mesi. In quest’ottica auspichiamo che il progetto possa crescere aprendosi a nuove collaborazioni, coinvolgendo ad esempio il mondo editoriale ed enti pubblici per l’impiego di Minerva in ambiti istituzionali. Minerva è il primo – e a oggi unico – modello completamente aperto, che si presta a essere utilizzato dalle Pubbliche Amministrazioni, proprio per la trasparenza delle fonti e del processo di addestramento. Inoltre sono molto orgoglioso del trasferimento tecnologico che si realizza grazie a Babelscape – spin-off di successo di Sapienza – che sta lavorando alacremente a versioni industriali più potenti e sofisticate dell’LLM e alle sue applicazioni.”

Dichiara Antonella Polimeni, Rettrice di Sapienza Università di Roma:

“La Sapienza ha una lunga tradizione di eccellenza nell’ambito della ricerca tecnologica e scientifica. Negli ultimi anni, abbiamo rafforzato il nostro impegno nello sviluppo di competenze avanzate in settori strategici come l’intelligenza artificiale, promuovendo un approccio interdisciplinare che combina il rigore accademico con una visione orientata all’innovazione. Con il progetto Minerva, confermiamo la nostra missione: essere un motore di innovazione e progresso al servizio della società e del futuro.”

Dichiara Giuseppe De Pietro, Presidente di FAIR – Future AI Research:

“La realizzazione di Minerva, oltre a costituire un risultato scientifico di indubbio valore, rappresenta un’esperienza di successo del modello di cooperazione tra la Fondazione ed i propri soci. FAIR, infatti, ha tra i suoi compiti quello di  supportare le attività e i prodotti di eccellenza della ricerca svolta all’interno del partenariato, come Minerva e molti altri. Crediamo davvero che Minerva abbia tutte le potenzialità per diventare il Large Language Model di riferimento per la Pubblica Amministrazione e lavoreremo come Fondazione per valorizzarlo.”

Dichiara Alessandra Poggiani, Direttrice generale di Cineca:

“Siamo felici di mettere le nostre competenze e l’infrastruttura a disposizione di un progetto di ricerca d’avanguardia nel campo dell’intelligenza artificiale, che offre significativi potenziali benefici a tutto il sistema Paese – in particolare alla sua pubblica amministrazione. È un progetto che interpreta bene la vocazione di Cineca a creare le condizioni di contesto ideali verso una più compiuta e ampia cittadinanza digitale.”

Il modello è accessibile al pubblico all’indirizzo https://minerva-llm.org e sarà possibile scaricarlo nelle settimane successive. Questa fase di test permetterà di svolgere un ulteriore affinamento sulla base delle conversazioni effettuate nei prossimi giorni.

Il team che ha lavorato allo sviluppo di Minerva 7B include ben 15 ricercatori e dottorandi (in ordine alfabetico): Edoardo Barba, Tommaso Bonomo, Simone Conia, Pere-Lluís Huguet Cabot, Federico Martelli, Luca Moroni, Roberto Navigli, Riccardo Orlando, Alessandro Scirè, Simone Tedeschi; hanno anche contribuito Stefan Bejgu, Fabrizio Brignone, Francesco Cecconi, Ciro Porcaro, Simone Stirpe. Si ringraziano anche Giuseppe Fiameni (NVIDIA) e Sergio Orlandini (Cineca).

Testo dal Settore Ufficio stampa e comunicazione Sapienza Università di Roma