AI FRONTIERS: LARGE LANGUAGE MODELS
Obiettivi formativi
Fornire una comprensione approfondita dei Modelli di Linguaggio di Grandi Dimensioni (LLM) e della Generative AI.
Sviluppare le competenze necessarie per implementare e utilizzare LLM in vari contesti applicativi.
Esplorare le implicazioni etiche e l'impatto sociale dell'uso dei LLM e della Generative AI.
Risultati di apprendimento attesi
Comprendere i principi fondamentali dei LLM e della Generative AI.
Capacità di usare al meglio modelli di linguaggio utilizzando librerie di machine learning.
Analizzare e valutare le prestazioni dei LLM in vari compiti.
Identificare e discutere le considerazioni etiche legate all'uso di LLM.
Contenuti Del Corso
Introduzione ai LLM e alla Generative AI (4 ore)
Architetture di Modelli di Linguaggio (8 ore)
Reti neurali
Transformer, BERT e GPT
Addestramento di LLM (8 ore)
Dataset e preprocessing
Tecniche di ottimizzazione
Applicazioni dei LLM (8 ore)
Generazione di testo
Traduzione automatica
Chatbot e assistenti virtuali
Strumenti e Framework (4 ore)
TensorFlow e PyTorch
Librerie specifiche per NLP
Valutazione e Fine-tuning (4 ore)
Metriche di valutazione
Tecniche di fine-tuning
Etica e Impatti Sociali (4 ore)
Bias nei modelli di linguaggio
Impatti sociali e regolamentazione
Progetto Pratico (8 ore)
Implementazione di un LLM
Presentazione del progetto
Testi Di Riferimento
"Deep Learning" di Ian Goodfellow, Yoshua Bengio, Aaron Courville
"Natural Language Processing with PyTorch" di Delip Rao, Brian McMahan
Articoli e risorse online su LLM e Generative AI
Metodologie Didattiche
Lezioni frontali
Esercitazioni pratiche in laboratorio
Discussioni di gruppo e analisi di casi studio
Progetti pratici e presentazioni
Modalità di verifica dell'apprendimento
Presentazioni orali
Partecipazione attiva alle lezioni e discussioni
Criteri per l’assegnazione dell’elaborato finale
Capacità di applicare le conoscenze acquisite durante il corso
Chiarezza espositiva e capacità di argomentazione
Settimana 1
Introduzione ai LLM e alla Generative AI
Lettura: Capitolo 1 di "Deep Learning"
Settimana 2
Architetture di Modelli di Linguaggio: RNN
Settimana 3
Architetture di Modelli di Linguaggio: Trasformatori e BERT
Lettura: Paper "Attention is All You Need"
Settimana 4
Addestramento di LLM: Dataset e preprocessing
Settimana 5
Addestramento di LLM: Tecniche di ottimizzazione
Settimana 6
Applicazioni dei LLM: Generazione di testo e prompting
Settimana 7
Applicazioni dei LLM: Traduzione automatica ed altri language tasks
Settimana 8
Applicazioni dei LLM: Chatbot e assistenti virtuali e copilots
Settimana 9
Strumenti e Framework: TensorFlow e PyTorch
Settimana 10
Strumenti e Framework: Librerie specifiche per NLP
Settimana 11
Valutazione e Fine-tuning: Metriche di valutazione
Settimana 12
Valutazione e Fine-tuning: Tecniche di fine-tuning