ECONOMETRICS

ECONOMETRICS

bởi tuonglaivietnam

 

Tác giả: Bruce E. Hansen

The term "econometrics" is believed to have been crafted by Ragnar Frisch (1895-1973) of Norway, one of the three principle founders of the Econometric Society, first editor of the journal Econometrica, and co-winner of the fi…rst Nobel Memorial Prize in Economic Sciences in 1969. It is therefore …tting that we turn to Frisch's own words in the introduction to the …first issue of Econometrica for an explanation of the discipline.

Book: Hansen-Econometrics-2012

ECONOMETRICS
Bruce E. Hansen
2000, 20121
University of Wisconsin
www.ssc.wisc.edu/~bhansen
This Revision: January 18, 2012

This manuscript may be printed and reproduced for individual or instructional use, but may not be printed for commercial purposes.

Xem trên link: http://tuonglaivietnam.files.wordpress.com/2012/02/hansen-econometrics-2012.pdf

Contents

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1 Introduction 1
1.1 What is Econometrics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Probability Approach to Econometrics . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Econometric Terms and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Observational Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Standard Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 Sources for Economic Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.7 Econometric Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.8 Reading the Manuscript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Moment Estimation 8
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Population and Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Sample Mean is Unbiased . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.5 Convergence in Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.6 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.7 Vector-Valued Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.8 Convergence in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.9 Functions of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.10 Delta Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.11 Stochastic Order Symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.12 Uniform Stochastic Bounds* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.13 Semiparametric E¢ ciency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.14 Expectation* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 Conditional Expectation and Projection 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 The Distribution of Wages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Conditional Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Conditional Expectation Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Continuous Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.6 Law of Iterated Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.7 Monotonicity of Conditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.8 CEF Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.9 Best Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.10 Conditional Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.11 Homoskedasticity and Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.12 Regression Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
i
CONTENTS ii
3.13 Linear CEF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.14 Linear CEF with Nonlinear E¤ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.15 Linear CEF with Dummy Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.16 Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.17 Linear Predictor Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.18 Regression Coe¢ cients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.19 Regression Sub-Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.20 Coe¢ cient Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.21 Omitted Variable Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.22 Best Linear Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.23 Normal Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.24 Regression to the Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.25 Reverse Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.26 Limitations of the Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.27 Random Coe¢ cient Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.28 Causal E¤ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.29 Existence and Uniqueness of the Conditional Expectation* . . . . . . . . . . . . . . 66
3.30 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 The Algebra of Least Squares 72
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2 Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Solving for Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4 Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5 Least Squares Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.6 Model in Matrix Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.7 Projection Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.8 Orthogonal Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.9 Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.10 Regression Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.11 Residual Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.12 Prediction Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.13 In‡uential Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5 Least Squares Regression 92
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2 Mean of Least-Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Variance of Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4 Gauss-Markov Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.5 Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.6 Estimation of Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.7 Mean-Square Forecast Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.8 Covariance Matrix Estimation Under Homoskedasticity . . . . . . . . . . . . . . . . 101
5.9 Covariance Matrix Estimation Under Heteroskedasticity . . . . . . . . . . . . . . . . 101
5.10 Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.11 Measures of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.12 Empirical Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.13 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
CONTENTS iii
5.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6 Asymptotic Theory for Least Squares 113
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Consistency of Least-Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Joint Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.5 Consistency of Error Variance Estimators . . . . . . . . . . . . . . . . . . . . . . . . 122
6.6 Homoskedastic Covariance Matrix Estimation . . . . . . . . . . . . . . . . . . . . . . 123
6.7 Asymptotic Covariance Matrix Estimation . . . . . . . . . . . . . . . . . . . . . . . . 123
6.8 Alternative Covariance Matrix Estimation* . . . . . . . . . . . . . . . . . . . . . . . 125
6.9 Functions of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.10 Asymptotic Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.11 t statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.12 Con…dence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.13 Regression Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.14 Forecast Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.15 Wald Statistic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
6.16 Con…dence Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.17 Semiparametric E¢ ciency in the Projection Model . . . . . . . . . . . . . . . . . . . 136
6.18 Semiparametric E¢ ciency in the Homoskedastic Regression Model* . . . . . . . . . . 137
6.19 Uniformly Consistent Residuals* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.20 Asymptotic Leverage* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
7 Restricted Estimation 143
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.2 Constrained Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.3 Exclusion Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.4 Minimum Distance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.5 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
7.6 E¢ cient Minimum Distance Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7.7 Exclusion Restriction Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7.8 Variance and Standard Error Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.9 Misspeci…cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
7.10 Nonlinear Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.11 Inequality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.12 Constrained MLE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.13 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
8 Hypothesis Testing 157
8.1 Hypotheses and Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
8.2 t tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
8.3 t-ratios and the Abuse of Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
8.4 Wald Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.5 Minimum Distance Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.6 F Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8.7 Likelihood Ratio Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
8.8 Problems with Tests of NonLinear Hypotheses . . . . . . . . . . . . . . . . . . . . . 167
8.9 Monte Carlo Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

8.10 Con…dence Intervals by Test Inversion . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.11 Asymptotic Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
9 Regression Extensions 178
9.1 Generalized Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
9.2 Testing for Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.3 NonLinear Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.4 Testing for Omitted NonLinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
10 The Bootstrap 186
10.1 De…nition of the Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
10.2 The Empirical Distribution Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
10.3 Nonparametric Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10.4 Bootstrap Estimation of Bias and Variance . . . . . . . . . . . . . . . . . . . . . . . 188
10.5 Percentile Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
10.6 Percentile-t Equal-Tailed Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
10.7 Symmetric Percentile-t Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
10.8 Asymptotic Expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
10.9 One-Sided Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
10.10Symmetric Two-Sided Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
10.11Percentile Con…dence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
10.12Bootstrap Methods for Regression Models . . . . . . . . . . . . . . . . . . . . . . . . 197
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
11 NonParametric Regression 200
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
11.2 Binned Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
11.3 Kernel Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
11.4 Local Linear Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
11.5 Nonparametric Residuals and Regression Fit . . . . . . . . . . . . . . . . . . . . . . 205
11.6 Cross-Validation Bandwidth Selection . . . . . . . . . . . . . . . . . . . . . . . . . . 206
11.7 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
11.8 Conditional Variance Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
11.9 Standard Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
11.10Multiple Regressors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
12 Series Estimation 215
12.1 Approximation by Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.2 Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.3 Partially Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.4 Additively Separable Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.5 Uniform Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.6 Runge’s Phenonmenon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
12.7 Approximating Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
12.8 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
12.9 Residuals and Regression Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
12.10Cross-Validation Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.11Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
12.12Uniform Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
12.13Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
CONTENTS v
12.14Regression Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
12.15Kernel Versus Series Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
12.16Technical Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
13 Quantile Regression 231
13.1 Least Absolute Deviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
13.2 Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
14 Generalized Method of Moments 237
14.1 Overidenti…ed Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
14.2 GMM Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
14.3 Distribution of GMM Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
14.4 Estimation of the E¢ cient Weight Matrix . . . . . . . . . . . . . . . . . . . . . . . . 240
14.5 GMM: The General Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
14.6 Over-Identi…cation Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
14.7 Hypothesis Testing: The Distance Statistic . . . . . . . . . . . . . . . . . . . . . . . 242
14.8 Conditional Moment Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
14.9 Bootstrap GMM Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
15 Empirical Likelihood 248
15.1 Non-Parametric Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
15.2 Asymptotic Distribution of EL Estimator . . . . . . . . . . . . . . . . . . . . . . . . 250
15.3 Overidentifying Restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
15.4 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
15.5 Numerical Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
16 Endogeneity 255
16.1 Instrumental Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
16.2 Reduced Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
16.3 Identi…cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.4 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.5 Special Cases: IV and 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
16.6 Bekker Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
16.7 Identi…cation Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
17 Univariate Time Series 265
17.1 Stationarity and Ergodicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
17.2 Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
17.3 Stationarity of AR(1) Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
17.4 Lag Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
17.5 Stationarity of AR(k) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
17.6 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
17.7 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
17.8 Bootstrap for Autoregressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
17.9 Trend Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
17.10Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 272
17.11Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
17.12Autoregressive Unit Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
CONTENTS vi
18 Multivariate Time Series 275
18.1 Vector Autoregressions (VARs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
18.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.3 Restricted VARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.4 Single Equation from a VAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
18.5 Testing for Omitted Serial Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . 277
18.6 Selection of Lag Length in an VAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
18.7 Granger Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
18.8 Cointegration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
18.9 Cointegrated VARs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
19 Limited Dependent Variables 281
19.1 Binary Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
19.2 Count Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
19.3 Censored Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
19.4 Sample Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
20 Panel Data 286
20.1 Individual-E¤ects Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.2 Fixed E¤ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
20.3 Dynamic Panel Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
21 Nonparametric Density Estimation 289
21.1 Kernel Density Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
21.2 Asymptotic MSE for Kernel Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . 291
A Matrix Algebra 294
A.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
A.2 Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
A.3 Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
A.4 Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
A.5 Rank and Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
A.6 Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
A.7 Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
A.8 Positive De…niteness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
A.9 Matrix Calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
A.10 Kronecker Products and the Vec Operator . . . . . . . . . . . . . . . . . . . . . . . . 301
A.11 Vector and Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
A.12 Matrix Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
B Probability 306
B.1 Foundations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
B.2 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
B.3 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
B.4 Gamma Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
B.5 Common Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
B.6 Multivariate Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
B.7 Conditional Distributions and Expectation . . . . . . . . . . . . . . . . . . . . . . . . 314
B.8 Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
B.9 Normal and Related Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
B.10 Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
B.11 Maximum Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
CONTENTS vii
C Numerical Optimization 327
C.1 Grid Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
C.2 Gradient Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
C.3 Derivative-Free Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329