AI FRONTIERS: LARGE LANGUAGE MODELS

AI FRONTIERS: LARGE LANGUAGE MODELS

Simone Di Somma

Obiettivi formativi

Fornire una comprensione approfondita dei Modelli di Linguaggio di Grandi Dimensioni (LLM) e della Generative AI. Sviluppare le competenze necessarie per implementare e utilizzare LLM in vari contesti applicativi. Esplorare le implicazioni etiche e l'impatto sociale dell'uso dei LLM e della Generative AI.

Risultati di apprendimento attesi

Comprendere i principi fondamentali dei LLM e della Generative AI. Capacità di usare al meglio modelli di linguaggio utilizzando librerie di machine learning. Analizzare e valutare le prestazioni dei LLM in vari compiti. Identificare e discutere le considerazioni etiche legate all'uso di LLM.

Contenuti Del Corso

Introduzione ai LLM e alla Generative AI (4 ore) Architetture di Modelli di Linguaggio (8 ore) Reti neurali Transformer, BERT e GPT Addestramento di LLM (8 ore) Dataset e preprocessing Tecniche di ottimizzazione Applicazioni dei LLM (8 ore) Generazione di testo Traduzione automatica Chatbot e assistenti virtuali Strumenti e Framework (4 ore) TensorFlow e PyTorch Librerie specifiche per NLP Valutazione e Fine-tuning (4 ore) Metriche di valutazione Tecniche di fine-tuning Etica e Impatti Sociali (4 ore) Bias nei modelli di linguaggio Impatti sociali e regolamentazione Progetto Pratico (8 ore) Implementazione di un LLM Presentazione del progetto

Testi Di Riferimento

"Deep Learning" di Ian Goodfellow, Yoshua Bengio, Aaron Courville "Natural Language Processing with PyTorch" di Delip Rao, Brian McMahan Articoli e risorse online su LLM e Generative AI

Metodologie Didattiche

Lezioni frontali Esercitazioni pratiche in laboratorio Discussioni di gruppo e analisi di casi studio Progetti pratici e presentazioni

Modalità di verifica dell'apprendimento

Presentazioni orali Partecipazione attiva alle lezioni e discussioni

Criteri per l’assegnazione dell’elaborato finale

Capacità di applicare le conoscenze acquisite durante il corso Chiarezza espositiva e capacità di argomentazione

Settimana 1

Introduzione ai LLM e alla Generative AI Lettura: Capitolo 1 di "Deep Learning"

Settimana 2

Architetture di Modelli di Linguaggio: RNN

Settimana 3

Architetture di Modelli di Linguaggio: Trasformatori e BERT Lettura: Paper "Attention is All You Need"

Settimana 4

Addestramento di LLM: Dataset e preprocessing

Settimana 5

Addestramento di LLM: Tecniche di ottimizzazione

Settimana 6

Applicazioni dei LLM: Generazione di testo e prompting

Settimana 7

Applicazioni dei LLM: Traduzione automatica ed altri language tasks

Settimana 8

Applicazioni dei LLM: Chatbot e assistenti virtuali e copilots

Settimana 9

Strumenti e Framework: TensorFlow e PyTorch

Settimana 10

Strumenti e Framework: Librerie specifiche per NLP

Settimana 11

Valutazione e Fine-tuning: Metriche di valutazione

Settimana 12

Valutazione e Fine-tuning: Tecniche di fine-tuning