METODI QUANTITATIVI PER LA VALUTAZIONE DELLE POLITICHE

METODI QUANTITATIVI PER LA VALUTAZIONE DELLE POLITICHE

Antonio Pacifico, Livia De Giovanni

Obiettivi formativi

Il corso intende fornire la conoscenza dei metodi quantitativi per la valutazione dell’efficacia di politiche in ambito pubblico o privato. La trattazione metodologica degli argomenti è accompagnata da esemplificazioni su dati reali. Sono proposti esercizi, esercizi empirici e analisi di casi di valutazione di politiche anche con l’ausilio di software statistico (EXCEL advanced, R). Il corso sviluppa le competenze digitali relative allo standard europeo DIGCOMP 2.2 (Area di competenze 1: Alfabetizzazione su informazioni e dati; Area di competenze 2: Comunicazione e collaborazione; Area di competenze 3: Creazione di contenuti digitali)

Risultati di apprendimento attesi

Conoscenza e comprensione: conoscenza dei principali metodi quantitativi per l’analisi di causalità e la valutazione di politiche: Regressione con variabili strumentali, Matching statistico, Difference in Difference, Regressione Discontinua, Capacità di applicare conoscenza e comprensione: capacità di analizzare una politica, di individuare variabile trattamento e variabile risultato, e di applicare gli opportuni metodi quantitativi di valutazione in contesti microeconomici in ambito pubblico o privato (lavoro, sanità, strategie d’impresa) e di interpretare i risultati ottenuti, anche utilizzando foglio elettronico avanzato e software statistico. Autonomia di giudizio: capacità di interpretare criticamente dati e modelli statistici utilizzati nell’analisi valutativa di politiche in ambito pubblico o privato Abilità comunicative: capacità di comunicazione efficace delle analisi valutative e di presentazione di risultati. Capacità di apprendimento: capacità di apprendere autonomamente metodi di valutazione delle politiche per gestire in maniera autonoma un completamento delle conoscenze in attività professionali o studi successivi.

Contenuti Del Corso

Regressione lineare semplice. Regressione lineare multipla. Regressione con variabili strumentali. Inferenza causale per la valutazione di politiche pubbliche. Abbinamento Statistico (Statistical Matching). Difference in Difference. Regressione discontinua.

Testi Di Riferimento

J. Stock - M. Watson Introduzione all'econometria 4/Ed. – Pearson - Libro di testo J. Wooldridge Introductory Econometrics fifth edition - South-Western (estratti disponibili sul sito docente) - Libro di testo Seeing Theory: https://seeing-theory.brown.edu/ Dispense del docente Letture consigliate Angrist & Pischke Mostly harmless econometrics: an empiricist’s companion - Princeton university press Dehejia and Wahba (1999), Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs, JASA (Abbinamento statistico, disponibile sul sito docente) Lalonde (1986), Evaluating the Econometric Evaluations of Training Programs, American Economic Review, 76, 604-620 (Difference in Differences, disponibile sul sito docente) Card e Krueger (1994), Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania, AER (Difference in Differences, disponibile sul sito docente) Angrist and Lavy (1999), Using Maimonides' Rule to Estimate the Effect of Class Size on Scholastic Achievement, QJE (Regression Discontinuity, disponibile sul sito docente) Mancini, Pappalardo (2006), Evaluating the Impact of Labour Market Regulation on the Size Growth of Italian Firms, Politica Economica, Vol. XXII No.3 (Regression Discontinuity, disponibile sul sito docente) Esther Duflo (MIT) Pascaline Dupas (Stanford) Michael Kremer (Harvard) (2017), The Impact of Free Secondary Education: Experimental Evidence from Ghana Altri paper disponibili sul sito learn.luiss.it Approcci alla valutazione degli effetti delle politiche di sviluppo regionale (2011) - Metodi UVAL (disponibile sul sito docente) “EU Expenditure Programmes. A Guide. Ex Post and Intermediate Evaluation”; European Commission, (1997) (disponibile sul sito docente)

Metodologie Didattiche

Lezioni frontali Esercitazioni Esercitazioni empiriche Visualizzazione interattiva Flipped Classroom Project Work con uso di foglio elettronico avanzato e programmi di calcolo statistico/econometrico Analisi di ricerche valutative Testimonianze di ricerche valutative in ambito pubblico o privato.

Modalità di verifica dell'apprendimento

1. Prova scritta. Costituita da quesiti di natura sia teorica che pratica, durante la quale non è consentita la consultazione di libri o appunti. Verifica l’acquisizione di Conoscenze, Conoscenze Applicate, Autonomia di Giudizio. E’ prevista una prova intermedia facoltativa e una prova finale nel primo appello d’esame. E’ prevista durante il corso l’assegnazione di 4 problemi inerenti gli argomenti trattati da risolvere individualmente e da riconsegnare al docente, due prima della prova intermedia e due dopo. La partecipazione alla prova intermedia è subordinata allo svolgimento con esito positivo dei primi due problemi; la partecipazione alla prova finale è subordinata allo svolgimento con esito positivo dei secondi due problemi. Se la prova intermedia e finale sono superate, il voto finale è ottenuto come somma dei voti conseguiti in tutte le prove (4 problemi e due prove). Se lo studente non è soddisfatto del voto conseguito può rinunciare e svolgere l’intero esame. 2. Project work. Il problema n. 4 consiste nella replicazione dell’analisi di una politica pubblica presentata in un paper scientifico. La prova si svolge in gruppi di tre studenti con il foglio elettronico avanzato/R. Verifica l’acquisizione di Autonomia di Giudizio, Abilità Comunicative, Capacità di apprendimento. Competenze digitali (1, 2, 3), lavorare in gruppo, gestione del tempo, sviluppo di nuove strategie e soluzioni per risolvere i problemi. ESAME SOLO SCRITTO: questa tipologia di esame (c.d. “scritto verbalizzante”) prevede esclusivamente una prova scritta senza successivo esame orale. Lo studente si prenota per lo scritto; concluso lo scritto il docente corregge i compiti e pubblica gli esiti nella pagina web dedicata alla VOL (entro una settimana dallo svolgimento della prova stessa). Il sistema invia una comunicazione con l’esito agli studenti iscritti all’appello (gli esiti dell’esame scritto potranno anche essere visualizzati sul web self service). Dal momento della pubblicazione degli esiti lo studente ha 3 giorni di tempo per rifiutare il voto. Concluso il periodo di tempo indicato (3 giorni), vale la regola di silenzio-assenso e il voto viene verbalizzato da parte del docente che deve chiudere definitivamente il verbale attraverso la firma digitale (il sistema invia un messaggio al docente ricordando di effettuare tale operazione). A chiusura del verbale lo studente riceve una mail di comunicazione del voto conseguito. Prima della pubblicazione dei risultati sono resi disponibili, sul sito web del corso, il testo e la soluzione della prova scritta. Ciascun candidato può visionare il compito corretto, indipendentemente dall'esito finale dell'esame, nel giorno previsto dal docente in tempo utile per non accettare il voto proposto.

Criteri per l’assegnazione dell’elaborato finale

L'elaborato finale consiste nell'applicazione di metodi quantitativi alla valutazione di una politica.

Settimana 1

Lezione 1 Introduzione. Counterfactual analysis of treatment effects Evaluating EU expenditure programmes: a guide (European Commission) Capitolo 1 Domande economiche e dati economici 1.1 Domande economiche esaminate 1.2 Effetti causali ed esperimenti ideali Stima di effetti causali Previsione e causalità 1.3 Dati: fonti e tipi Dati sperimentali e dati non sperimentali Dati sezionali Serie temporali Dati panel Capitolo 2 Richiami di probabilità 2.1 Variabili casuali e distribuzioni di probabilità Probabilità, spazio campionario e variabili casuali Distribuzione di probabilità di una variabile casuale discreta Distribuzione di probabilità di una variabile casuale continua 2.2 Valore atteso, media e varianza Il valore atteso di una variabile casuale Deviazione standard e varianza Media e varianza di una funzione lineare di una variabile casuale Fundamentals of Probability (Appendix B: B1, B3. Introductory Econometric- Wooldridge) Lezione 1 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 2

Lezione 2 Capitolo 2 Richiami di probabilità 2.3 Variabili casuali doppie Distribuzioni congiunte e marginali Distribuzioni condizionate Indipendenza Covarianza e correlazione Media e varianza di somme di variabili casuali 2.4 Distribuzioni normale, chi-quadrato, t di Student e F La distribuzione normale La distribuzione chi-quadrato La distribuzione t di Student La distribuzione F Fundamentals of Probability (Appendix B: B2, B4, B5. Introductory Econometric - Wooldridge) Capitolo 2 Richiami di probabilità 2.5 Campionamento casuale e distribuzione della media campionaria Campionamento casuale Distribuzione campionaria della media campionaria 2.6 Approssimazione alla distribuzione campionaria per grandi campioni Legge dei grandi numeri e consistenza Il teorema limite centrale Appunti docente Lezione 2 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 3

Lezione 3 Capitolo 3 Richiami di statistica 3.1 Stima della media di una popolazione Stimatori e loro proprietà Proprietà della media campionaria Importanza del campionamento casuale 3.2 Verifica di ipotesi circa la media della popolazione Ipotesi nulla e ipotesi alternativa Valore-p dei test Calcolo del valore-p con sigma_Y nota Varianza campionaria, deviazione standard campionaria ed errore standard Calcolo del valore-p con sigma_Y ignota Statistica t Verifica di ipotesi con livello di significatività prefissato Alternative unilaterali 3.3 Intervalli di confidenza per la media della popolazione Appunti docente Capitolo 3 Richiami di Statistica 3.4 Confronto tra medie di popolazioni diverse Test d’ipotesi per la differenza tra due medie Intervalli di confidenza per la differenza tra le medie di due popolazioni 3.5 Stima degli effetti causali con differenze tra medie usando dati sperimentali L’effetto causale come differenza delle attese condizionate Stima dell’effetto causale usando la differenza tra due medie 3.6 Utilizzo della statistica t quando il campione è poco numeroso La statistica t e la distribuzione t di Student Uso della distribuzione t di Student in pratica 3.7 Diagrammi a nuvola di punti, covarianza e correlazione campionaria Diagrammi a nuvola di punti Covarianza e correlazione campionaria The California Standardized Testing and Reporting (STAR) dataset (caschool). Appunti docente. Lezione 3 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 4

Lezione 4 Capitolo 4 Regressione lineare con un singolo regressore 4.1 Il modello di regressione lineare 4.2 Stima dei coefficienti del modello di regressione lineare Lo stimatore dei minimi quadrati ordinari Stime OLS della relazione tra punteggio nei test e rapporto studenti/insegnanti Perché usare lo stimatore OLS? 4.3 Misure di bonta dell’adattamento L ’ R2 L’errore standard della regressione Applicazione al punteggio nei test The simple regression model (Chapter 2 Introductory Econometric - Wooldridge) 2.1 Definition of the simple regression model 2.2 Deriving the ordinary least square estimates Capitolo 4 Regressione lineare con un singolo regressore 4.4 Le assunzioni dei minimi quadrati Assunzione 1: la distribuzione di ui condizionata a Xi ha media nulla Assunzione 2: (Xi, Yi), i = 1,...,n sono indipendentemente e identicamente distribuite Assunzione 3: gli outlier sono improbabili L’uso delle assunzioni dei minimi quadrati 4.5 Distribuzione campionaria degli stimatori OLS. The California Standardized Testing and Reporting (STAR) dataset (caschool) Lezione 4 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 5

Lezione 5 Capitolo 5 Regressione con un singolo regressore: verifica di ipotesi e intervalli di confidenza 5.1 Verifica di ipotesi su un singolo coefficiente di regressione Ipotesi bilaterali su β1 Ipotesi unilaterali riguardanti β1 Verifica di ipotesi riguardanti l’intercetta β0 5.2 Intervalli di confidenza per un coefficiente di regressione 5.3 La regressione quando X è una variabile binaria Interpretazione dei coefficienti di regressione 5.4 Eteroschedasticità e omoschedasticità Che cosa sono l’eteroschedasticità e l’omoschedasticità? Implicazioni matematiche dell’omoschedasticità Che cosa significa tutto ciò in pratica? Capitolo 6 Regressione lineare con regressori multipli 6.1 La distorsione da variabili omesse Definizione di distorsione da variabili omesse Una formula per la distorsione da variabili omesse Affrontare la distorsione da variabili omesse dividendo i dati in gruppi Omitted Variable Bias: The Simple Case (Section 3.3 Introductory Econometric - Wooldridge) 6.2 Il modello di regressione multipla La retta di regressione della popolazione Il modello di regressione multipla della popolazione 6.3 Lo stimatore OLS della regressione multipla Lo stimatore OLS Applicazione ai punteggi nel test e al rapporto studenti/insegnanti. The California Standardized Testing and Reporting (STAR) dataset (caschool) Lezione 5 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 6

Lezione 6 Capitolo 6 Regressione lineare con regressori multipli 6.4 Misure di bontà dell’adattamento nella regressione multipla L’errore standard della regressione (SER) L ’ R2 L’“R2 corretto” Applicazioni ai punteggi ottenuti nei test 6.5 Le assunzioni dei minimi quadrati per la regressione multipla Assunzione 1: La distribuzione di ui condizionata a X1i, X2i,...,Xki ha media nulla Assunzione 2: (X1i, X2i,...,Xki, Yi), con i = 1,...,n sono i.i.d. Assunzione 3: outlier sono improbabili Assunzione 4: assenza di collinearità perfetta 6.6 La distribuzione degli stimatori OLS nella regressione multipla 6.7 Collinearità Capitolo 7 Verifica di ipotesi e intervalli di confidenza nella regressione multipla 7.1 Verifica di ipotesi e intervalli di confidenza per un singolo coefficiente Gli errori standard degli stimatori OLS La verifica di ipotesi su un singolo coefficiente Intervalli di confidenza per un singolo coefficiente Applicazione ai punteggi ottenuti nei test e al rapporto studenti/insegnanti. The California Standardized Testing and Reporting (STAR) dataset (caschool) Lezione 6 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 7

Lezione 7 Capitolo 7 Verifica di ipotesi e intervalli di confidenza nella regressione multipla 7.2 Verifica di ipotesi congiunte Verifica di ipotesi su due o più coefficienti Verifica di ipotesi su due o più coefficienti La statistica F Applicazione al punteggio nei test e al rapporto studenti/insegnanti La statistica F classica 7.6 Analisi dei dati sul punteggio nei test. The California Standardized Testing and Reporting (STAR) dataset (caschool) Capitolo 8 Funzioni di regressione non lineari 8.3 Interazioni tra variabili indipendenti The California Standardized Testing and Reporting (STAR) dataset (caschool) Lezione 7 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 8

Lezione 8 Capitolo 12 Regressione con variabili strumentali Ritorno (misurato dalla retribuzione oraria) dell'istruzione per le donne sposate sulla base dei dati relativi al dataset Mroz (Wooldridge). Appunti docente e articoli di riviste scientifiche. Lezione 8 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 9

Lezione 9 Capitolo 13 Esperimenti e quasi esperimenti 13.1 Risultati potenziali, effetti causali ed esperimenti ideali Risultati potenziali ed effetto causale medio Metodi econometrici per analizzare dati sperimentali 13.2 Minacce alla validità degli esperimenti Minacce alla validità interna Minacce alla validità esterna 13.3 Stime sperimentali dell’effetto di riduzioni nella dimensione delle classi Appunti docente e articoli di riviste scientifiche Il Matching Statistico Appunti docente e articoli di riviste scientifiche. Caso di analisi: National Supported Work Demonstration Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Matching Statistico Lezione 9 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 10

Lezione 10 Capitolo 13 Esperimenti e quasi esperimenti 13.4 Quasi esperimenti Esempi Lo stimatore Difference in Difference (integrato con Appunti docente e articoli di riviste scientifiche). Caso di analisi: National Supported Work Demonstration Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Difference in Differences Lezione 10 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 11

Lezione 11 Capitolo 13 Esperimenti e quasi esperimenti 13.4 Quasi esperimenti Stimatori di regressione discontinua - Disegni netti con regressione discontinua (integrato con Appunti docente e articoli di riviste scientifiche). Case analysis. Raffaello Bronzini and Eleonora Iachini. 2014. Are Incentives for R&D Effective? Evidence from a Regression Discontinuity Approach. American Economic Journal: Economic Policy, 6(4): 100-134. Testimonianza dott. Carmine Pappalardo (Ufficio Parlamentare di Bilancio) Applicazioni empiriche del Regression Discontinuity Design Mancini, Massimo, and Pappalardo, Carmine (2006), Evaluating the Impact of Labour Market Regulation on the Size Growth of Italian Firms, Politica Economica, Vol. XXII. Lettura guidata dell'articolo con commenti e discussione. Lezione 11 Esercizi, esercizi empirici e analisi di casi di valutazione di politiche con accesso a dati reali anche con l'ausilio di programmi di calcolo statistico/econometrico.

Settimana 12

Esercitazione di Riepilogo