METODI QUANTITATIVI PER LA VALUTAZIONE DELLE POLITICHE
METODI QUANTITATIVI PER LA VALUTAZIONE DELLE POLITICHE
Antonio Pacifico, Livia De Giovanni
Obiettivi formativi
Il corso intende fornire la conoscenza dei metodi quantitativi per la valutazione dell’efficacia di politiche in ambito pubblico o privato. La trattazione metodologica degli argomenti è accompagnata da esemplificazioni su dati reali. Sono proposti esercizi, esercizi empirici e analisi di casi di valutazione di politiche anche con l’ausilio di software statistico (EXCEL advanced, R).
Il corso sviluppa le competenze digitali relative allo standard europeo DIGCOMP 2.1 (Area di competenze 1: Alfabetizzazione su informazioni e dati; Area di competenze 2: Comunicazione e collaborazione; Area di competenze 3: Creazione di contenuti digitali)
Risultati di apprendimento attesi
Conoscenza e comprensione: conoscenza dei principali metodi quantitativi per l’analisi di causalità e la valutazione di politiche: Regressione con variabili strumentali, Matching statistico, Difference in Difference, Regressione Discontinua,
Capacità di applicare conoscenza e comprensione: capacità di analizzare una politica, di individuare variabile trattamento e variabile risultato, e di applicare gli opportuni metodi quantitativi di valutazione in contesti microeconomici in ambito pubblico o privato (lavoro, sanità, strategie d’impresa) e di interpretare i risultati ottenuti, anche utilizzando foglio elettronico avanzato e software statistico.
Autonomia di giudizio: capacità di interpretare criticamente dati e modelli statistici utilizzati nell’analisi valutativa di politiche in ambito pubblico o privato
Abilità comunicative: capacità di comunicazione efficace delle analisi valutative e di presentazione di risultati.
Capacità di apprendimento: capacità di apprendere autonomamente metodi di valutazione delle politiche per gestire in maniera autonoma un completamento delle conoscenze in attività professionali o studi successivi.
Contenuti Del Corso
Regressione lineare semplice. Regressione lineare multipla. Regressione con variabili strumentali.
Inferenza causale per la valutazione di politiche pubbliche. Abbinamento Statistico (Statistical Matching). Difference in Difference. Regressione discontinua.
Testi Di Riferimento
J. Stock - M. Watson Introduzione all'econometria 4/Ed. – Pearson - Libro
di testo
J. Wooldridge Introductory Econometrics fifth edition - South-Western
(estratti disponibili sul sito docente) - Libro di testo
Seeing Theory: https://seeing-theory.brown.edu/
Dispense del docente
Letture consigliate
Angrist & Pischke Mostly harmless econometrics: an empiricist’s
companion - Princeton university press
Dehejia and Wahba (1999), Causal Effects in Nonexperimental Studies:
Reevaluating the Evaluation of Training Programs, JASA (Abbinamento
statistico, disponibile sul sito docente)
Lalonde (1986), Evaluating the Econometric Evaluations of Training
Programs, American Economic Review, 76, 604-620 (Difference in
Differences, disponibile sul sito docente)
Card e Krueger (1994), Minimum Wages and Employment: A Case Study
of the Fast-Food Industry in New Jersey and Pennsylvania, AER
(Difference in Differences, disponibile sul sito docente)
Angrist and Lavy (1999), Using Maimonides' Rule to Estimate the Effect of
Class Size on Scholastic Achievement, QJE (Regression Discontinuity,
disponibile sul sito docente)
Mancini, Pappalardo (2006), Evaluating the Impact of Labour Market
Regulation on the Size Growth of Italian Firms, Politica Economica, Vol.
XXII No.3 (Regression Discontinuity, disponibile sul sito docente)
Esther Duflo (MIT) Pascaline Dupas (Stanford) Michael Kremer (Harvard) (2017), The Impact of Free Secondary Education: Experimental Evidence from Ghana
Altri paper disponibili sul sito learn.luiss.it
Approcci alla valutazione degli effetti delle politiche di sviluppo regionale
(2011) - Metodi UVAL (disponibile sul sito docente)
“EU Expenditure Programmes. A Guide. Ex Post and Intermediate
Evaluation”; European Commission, (1997) (disponibile sul sito docente)
Metodologie Didattiche
Lezioni frontali
Esercitazioni
Esercitazioni empiriche
Visualizzazione interattiva
Flipped Classroom
Project Work con uso di foglio elettronico avanzato e programmi di calcolo statistico/econometrico
Analisi di ricerche valutative
Testimonianze di ricerche valutative in ambito pubblico o privato.
Modalità di verifica dell'apprendimento
1. Prova scritta. Costituita da quesiti di natura sia teorica che pratica, durante la quale non è consentita la consultazione di libri o appunti. Verifica l’acquisizione di Conoscenze, Conoscenze Applicate, Autonomia di Giudizio.
E’ prevista una prova intermedia facoltativa e una prova finale nel primo appello d’esame.
E’ prevista durante il corso l’assegnazione di 4 problemi inerenti gli argomenti trattati da risolvere individualmente e da riconsegnare al docente, due prima della prova intermedia e due dopo. La partecipazione alla prova intermedia è subordinata allo svolgimento con esito positivo dei primi due problemi; la partecipazione alla prova finale è subordinata allo svolgimento con esito positivo dei secondi due problemi. Se la prova intermedia e finale sono superate, il voto finale è ottenuto come somma dei voti conseguiti in tutte le prove (4 problemi e due prove).
Se lo studente non è soddisfatto del voto conseguito può rinunciare e svolgere l’intero esame.
2. Project work. Il problema n. 4 consiste nella replicazione dell’analisi di una politica pubblica presentata in un paper scientifico. La prova si svolge in gruppi di tre studenti con il foglio elettronico avanzato/R. Verifica l’acquisizione di Autonomia di Giudizio, Abilità Comunicative, Capacità di apprendimento. Competenze digitali (1, 2, 3), lavorare in gruppo, gestione del tempo, sviluppo di nuove strategie e soluzioni per risolvere i problemi.
ESAME SOLO SCRITTO: questa tipologia di esame (c.d. “scritto verbalizzante”) prevede esclusivamente una prova scritta senza successivo esame orale. Lo studente si prenota per lo scritto; concluso lo scritto il docente corregge i compiti e pubblica gli esiti nella pagina web
dedicata alla VOL (entro una settimana dallo svolgimento della prova stessa).
Il sistema invia una comunicazione con l’esito agli studenti iscritti all’appello (gli esiti dell’esame scritto potranno anche essere visualizzati sul web self service).
Dal momento della pubblicazione degli esiti lo studente ha 3 giorni di tempo per rifiutare il voto. Concluso il periodo di tempo indicato (3 giorni), vale la regola di silenzio-assenso e il voto viene verbalizzato da
parte del docente che deve chiudere definitivamente il verbale attraverso la firma digitale (il sistema invia un messaggio al docente ricordando di effettuare tale operazione). A chiusura del verbale lo
studente riceve una mail di comunicazione del voto conseguito.
Prima della pubblicazione dei risultati sono resi disponibili, sul sito web del corso, il testo e la soluzione della prova scritta. Ciascun candidato può visionare il compito corretto, indipendentemente dall'esito finale dell'esame, nel giorno previsto dal docente in tempo utile per non accettare il voto proposto.
Criteri per l’assegnazione dell’elaborato finale
L'elaborato finale consiste nell'applicazione di metodi quantitativi alla valutazione di una politica.
Settimana 1
Lezione 1
Introduzione. Counterfactual analysis of treatment effects
Evaluating EU expenditure programmes: a guide (European Commission)
Capitolo 1 Domande economiche e dati economici
1.1 Domande economiche esaminate
1.2 Effetti causali ed esperimenti ideali
Stima di effetti causali
Previsione e causalità
1.3 Dati: fonti e tipi
Dati sperimentali e dati non sperimentali
Dati sezionali
Serie temporali
Dati panel
Capitolo 2 Richiami di probabilità
2.1 Variabili casuali e distribuzioni di probabilità
Probabilità, spazio campionario e variabili casuali
Distribuzione di probabilità di una variabile casuale discreta
Distribuzione di probabilità di una variabile casuale continua
2.2 Valore atteso, media e varianza
Il valore atteso di una variabile casuale
Deviazione standard e varianza
Media e varianza di una funzione lineare di una variabile casuale
Fundamentals of Probability (Appendix B: B1, B3. Introductory
Econometric- Wooldridge)
Lezione 1
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con
accesso a dati reali anche con l'ausilio di programmi di calcolo
statistico/econometrico.
Settimana 2
Lezione 2
Capitolo 2 Richiami di probabilità
2.3 Variabili casuali doppie
Distribuzioni congiunte e marginali
Distribuzioni condizionate
Indipendenza
Covarianza e correlazione
Media e varianza di somme di variabili casuali
2.4 Distribuzioni normale, chi-quadrato, t di Student e F
La distribuzione normale
La distribuzione chi-quadrato
La distribuzione t di Student
La distribuzione F
Fundamentals of Probability (Appendix B: B2, B4, B5. Introductory
Econometric - Wooldridge)
Capitolo 2 Richiami di probabilità
2.5 Campionamento casuale e distribuzione della media campionaria
Campionamento casuale
Distribuzione campionaria della media campionaria
2.6 Approssimazione alla distribuzione campionaria per grandi campioni
Legge dei grandi numeri e consistenza
Il teorema limite centrale
Appunti docente
Lezione 2
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con
accesso a dati reali anche con l'ausilio di programmi di calcolo
statistico/econometrico.
Settimana 3
Lezione 3
Capitolo 3 Richiami di statistica
3.1 Stima della media di una popolazione
Stimatori e loro proprietà
Proprietà della media campionaria
Importanza del campionamento casuale
3.2 Verifica di ipotesi circa la media della popolazione
Ipotesi nulla e ipotesi alternativa
Valore-p dei test
Calcolo del valore-p con sigma_Y nota
Varianza campionaria, deviazione standard campionaria ed errore
standard
Calcolo del valore-p con sigma_Y ignota
Statistica t
Verifica di ipotesi con livello di significatività prefissato
Alternative unilaterali
3.3 Intervalli di confidenza per la media della popolazione
Appunti docente
Capitolo 3 Richiami di Statistica
3.4 Confronto tra medie di popolazioni diverse
Test d’ipotesi per la differenza tra due medie
Intervalli di confidenza per la differenza tra le medie di due popolazioni
3.5 Stima degli effetti causali con differenze tra medie usando dati
sperimentali
L’effetto causale come differenza delle attese condizionate
Stima dell’effetto causale usando la differenza tra due medie
3.6 Utilizzo della statistica t quando il campione è poco numeroso
La statistica t e la distribuzione t di Student
Uso della distribuzione t di Student in pratica
3.7 Diagrammi a nuvola di punti, covarianza e correlazione campionaria
Diagrammi a nuvola di punti
Covarianza e correlazione campionaria
The California Standardized Testing and Reporting (STAR) dataset (caschool).
Appunti docente.
Lezione 3
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con
accesso a dati reali anche con l'ausilio di programmi di calcolo
statistico/econometrico.
Settimana 4
Lezione 4
Capitolo 4 Regressione lineare con un singolo regressore
4.1 Il modello di regressione lineare
4.2 Stima dei coefficienti del modello di regressione lineare
Lo stimatore dei minimi quadrati ordinari
Stime OLS della relazione tra punteggio nei test e rapporto
studenti/insegnanti
Perché usare lo stimatore OLS?
4.3 Misure di bonta dell’adattamento
L ’ R2
L’errore standard della regressione
Applicazione al punteggio nei test
The simple regression model (Chapter 2 Introductory Econometric - Wooldridge)
2.1 Definition of the simple regression model
2.2 Deriving the ordinary least square estimates
Capitolo 4 Regressione lineare con un singolo regressore
4.4 Le assunzioni dei minimi quadrati
Assunzione 1: la distribuzione di ui condizionata a Xi ha media nulla
Assunzione 2: (Xi, Yi), i = 1,...,n sono indipendentemente e identicamente
distribuite
Assunzione 3: gli outlier sono improbabili
L’uso delle assunzioni dei minimi quadrati
4.5 Distribuzione campionaria degli stimatori OLS.
The California Standardized Testing and Reporting (STAR) dataset (caschool)
Lezione 4
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 5
Lezione 5
Capitolo 5 Regressione con un singolo regressore: verifica di ipotesi e intervalli di confidenza
5.1 Verifica di ipotesi su un singolo coefficiente di regressione
Ipotesi bilaterali su β1
Ipotesi unilaterali riguardanti β1
Verifica di ipotesi riguardanti l’intercetta β0
5.2 Intervalli di confidenza per un coefficiente di regressione
5.3 La regressione quando X è una variabile binaria
Interpretazione dei coefficienti di regressione
5.4 Eteroschedasticità e omoschedasticità
Che cosa sono l’eteroschedasticità e l’omoschedasticità?
Implicazioni matematiche dell’omoschedasticità
Che cosa significa tutto ciò in pratica?
Capitolo 6 Regressione lineare con regressori multipli
6.1 La distorsione da variabili omesse
Definizione di distorsione da variabili omesse
Una formula per la distorsione da variabili omesse
Affrontare la distorsione da variabili omesse dividendo i dati in gruppi
Omitted Variable Bias: The Simple Case (Section 3.3 Introductory
Econometric - Wooldridge)
6.2 Il modello di regressione multipla
La retta di regressione della popolazione
Il modello di regressione multipla della popolazione
6.3 Lo stimatore OLS della regressione multipla
Lo stimatore OLS
Applicazione ai punteggi nel test e al rapporto studenti/insegnanti.
The California Standardized Testing and Reporting (STAR) dataset (caschool)
Lezione 5
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 6
Lezione 6
Capitolo 6 Regressione lineare con regressori multipli
6.4 Misure di bontà dell’adattamento nella regressione multipla
L’errore standard della regressione (SER)
L ’ R2
L’“R2 corretto”
Applicazioni ai punteggi ottenuti nei test
6.5 Le assunzioni dei minimi quadrati per la regressione multipla
Assunzione 1: La distribuzione di ui condizionata a X1i, X2i,...,Xki ha media nulla
Assunzione 2: (X1i, X2i,...,Xki, Yi), con i = 1,...,n sono i.i.d.
Assunzione 3: outlier sono improbabili
Assunzione 4: assenza di collinearità perfetta
6.6 La distribuzione degli stimatori OLS nella regressione multipla
6.7 Collinearità
Capitolo 7 Verifica di ipotesi e intervalli di confidenza nella regressione
multipla
7.1 Verifica di ipotesi e intervalli di confidenza per un singolo coefficiente
Gli errori standard degli stimatori OLS
La verifica di ipotesi su un singolo coefficiente
Intervalli di confidenza per un singolo coefficiente
Applicazione ai punteggi ottenuti nei test e al rapporto studenti/insegnanti.
The California Standardized Testing and Reporting (STAR) dataset (caschool)
Lezione 6
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 7
Lezione 7
Capitolo 7 Verifica di ipotesi e intervalli di confidenza nella regressione multipla
7.2 Verifica di ipotesi congiunte
Verifica di ipotesi su due o più coefficienti
Verifica di ipotesi su due o più coefficienti
La statistica F
Applicazione al punteggio nei test e al rapporto studenti/insegnanti
La statistica F classica
7.6 Analisi dei dati sul punteggio nei test.
The California Standardized Testing and Reporting (STAR) dataset (caschool)
Capitolo 8 Funzioni di regressione non lineari
8.3 Interazioni tra variabili indipendenti
The California Standardized Testing and Reporting (STAR) dataset (caschool)
Lezione 7
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 8
Lezione 8
Capitolo 12 Regressione con variabili strumentali
Ritorno (misurato dalla retribuzione oraria) dell'istruzione per le donne sposate sulla base dei dati relativi al dataset Mroz (Wooldridge).
Appunti docente e articoli di riviste scientifiche.
Lezione 8
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 9
Lezione 9
Capitolo 13 Esperimenti e quasi esperimenti
13.1 Risultati potenziali, effetti causali ed esperimenti ideali
Risultati potenziali ed effetto causale medio
Metodi econometrici per analizzare dati sperimentali
13.2 Minacce alla validità degli esperimenti
Minacce alla validità interna
Minacce alla validità esterna
13.3 Stime sperimentali dell’effetto di riduzioni nella dimensione delle classi
Appunti docente e articoli di riviste scientifiche
Il Matching Statistico
Appunti docente e articoli di riviste scientifiche. Caso di analisi: National Supported Work Demonstration
Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Matching Statistico (4.11.2024)
Lezione 9
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 10
Lezione 10
Capitolo 13 Esperimenti e quasi esperimenti
13.4 Quasi esperimenti
Esempi
Lo stimatore Difference in Difference (integrato con Appunti docente e articoli di riviste scientifiche). Caso di analisi: National Supported Work Demonstration
Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Difference in Differences (11.11.2024)
Lezione 10
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 11
Lezione 11
Capitolo 13 Esperimenti e quasi esperimenti
13.4 Quasi esperimenti
Stimatori di regressione discontinua - Disegni netti con regressione
discontinua (integrato con Appunti docente e articoli di riviste scientifiche). Case analysis. Raffaello Bronzini and Eleonora Iachini. 2014. Are Incentives for R&D Effective? Evidence from a Regression Discontinuity Approach. American Economic Journal: Economic Policy, 6(4): 100-134.
Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Regression Discontinuity Design (18.11.2024)
Mancini, Massimo, and Pappalardo, Carmine (2006), Evaluating the Impact of Labour Market Regulation on the Size Growth of Italian Firms, Politica Economica, Vol. XXII. Lettura guidata dell'articolo con commenti e discussione.
Lezione 11
Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.
Settimana 12
Esercitazione di Riepilogo