Rejoinder: response to sobel

where !

j

(x, u) is a weight for estimand or effect j that can be empiri-

cally determined and the limits (a, b) are known in any application.

We can generate LATE as a special case of this formula. When the

model has limited support (regions where MTE can be identified), the

estimator automatically adjusts for it.

25

Bounds for the treatment parameters are presented in

Heckman and Vytlacil (2006b). Different instruments produce differ-

ent weights and these weights are generally not the weights required to

define the standard treatment effects. Our approach is far more gen-

eral than the piecemeal type of analysis of what IV estimates of the

sort presented by Sobel in his comments on the statistical literature.

Each of his special cases drops out from our general analysis. The

MTE

approach presents a nonparametric control function analysis

where the propensity score plays a conceptually distinct role from the

role it plays in matching models (Heckman and Vytlacil 2006b). Our

analysis is not to be found in the statistics literature.

Sobel is clearly a fan of the LATE approach. Therefore, he has

to be a fan of MTE. The Imbens-Angrist (1994) LATE parameter is a

discrete version of the Bjo¨rklund-Moffitt (1987) marginal gain para-

meter introduced into the evaluation literature in a selection model

framework. The Bjo¨rklund-Moffitt parameter is the mean gain to

participants induced into the program by an instrument. They identify

the parameter in a selection framework. Imbens-Angrist show how IV

can approximate it. Heckman and Vytlacil (1999) show how local

instrumental variables (LIV) identify it. Heckman, Urzua, and

Vytlacil (2006) and Heckman and Vytlacil (2006b) show that IV and

selection models are closely related. IV and its extension Local IV

(LIV) estimate the slopes of the models estimated by selection models

in levels.

As pointed out in Heckman, Urzua, and Vytlacil (2006) and

Heckman and Vytlacil (2005), the ‘‘monotonicity’’ assumptions made

in the LATE literature are not innocuous. If, in response to a change

in an instrument, some people go into treatment and others drop out,

instrumental variables do not identify any treatment effect but they

do identify a weighted average of two way flows (Heckman and

25

Software for estimating MTE and generating all of the treatment

parameters is available from Heckman, Urzua, Vytlacil (2006). See the website

http://jenni.uchicago.edu/underiv.

REJOINDER: RESPONSE TO SOBEL

153

---

Vytlacil 2005, 2006b; Heckman, Urzua, and Vytlacil 2006). The recent

IV

literature is asymmetric. Outcomes are permitted to be hetero-

geneous among persons in a general way. Choices of treatment are

not permitted to be heterogeneous in a general way.

7. POLICY RELEVANT TREATMENT PARAMETERS

The Policy Relevant Treatment Effect (PRTE) introduced in

Heckman and Vytlacil (2001a) and elaborated in Heckman and

Vytlacil (2005, 2006a,b) is a good example of the benefits of the

econometric approach. It is defined by stating a policy problem—

estimating the effect of a policy on mean outcomes—and showing

that this treatment effect can be generated as a weighted average of

the marginal treatment effect with known weights using formula (1)

presented in the preceding section. Standard IV and matching estima-

tors do not, in general, identify this parameter.

Policy problems dictate the identification and estimation strat-

egy in our approach. As shown in Heckman (2001), Heckman and

Vytlacil (2001a, 2005, 2006b), Heckman, Urzua, and Vytlacil (2006)

and Carneiro, Heckman, and Vytlacil (2005), the weights on MTE

required to form the PRTE parameter are generally not the same as

the weights for OLS, matching or IV, although an IV estimator can be

devised to identify the PRTE.

Heckman and Vytlacil (2005) develop an algorithm for defin-

ing causal effects that answer specific policy problems from a general

list of possible problems rather than relying exclusively on the stan-

dard set of causal effects discussed by Sobel in his Section 3 that

answer only a few narrowly selected policy problems.

26

Sobel ignores

parameters like the PRTE and fails to recognize that the standard

treatment estimators do not identify this parameter. Heckman and

Vytlacil develop estimators for specific well-posed policy problems

26

In his defense of ACE, Sobel makes a familiar error. In defending

ACE

as estimating the effect of a policy with universal coverage compared to the

effect with no coverage, he fails to account for the effects of large scale programs

on potential outcomes—what economists call ‘‘general equilibrium’’ effects.

Heckman, Lochner, and Taber (1998a,b) show that these are empirically impor-

tant in the analysis of education policies. These effects violate the SUTVA

assumption of Holland (1986) or the invariance assumption of Hurwicz (1962).

154

HECKMAN

---

rather than hope that a favored estimator just happens to hit the

selected target. This is a large advance over the existing literature in

statistics. Just compare Sobel’s discussion of IV with our own.

8. ESTIMATING THE PROPORTION OF PEOPLE WHO

BENEFIT FROM A PROGRAM

Sobel’s discussion of the benefits of randomization illustrates all of

the problems with the ad hoc statistical approach he favors.

Randomized trials cannot identify Pr(Y

1

> Y

0

). In a large sample,

this is the proportion of the population that benefits from a pro-

gram.

27

See Heckman (1992). This is because randomized trials pro-

duce Y

1

or Y

0

but not both for each person. The parameter

Pr(Y

1

> Y

0

) is not even contemplated in the Neyman (1923)–Rubin

(1978) setup. Using the Roy model (Heckman and Honore´ 1989) or

more general models (Carneiro, Hansen, and Heckman 2001, 2003;

Cunha, Heckman, and Navarro 2005, 2006; Cunha and Heckman

2006a,b; Heckman, Lochner, and Todd 2006) it is possible to estimate

this proportion. Modeling the unobservables and their relationship with

the treatment selection rule and any related measurement equations

plays an important role in their analysis. The statistical treatment effect

literature is silent on this crucial parameter. Modeling the dependence

among the unobservables in choice, outcome and auxiliary measure-

ment equations, is the key to identifying this proportion.

Sobel says that ‘‘much stronger assumptions’’ are required to

estimate this parameter. In any specific case, this claim is not true.

The assumptions required to justify randomization (no randomization

bias; no contamination or crossover effects; see Heckman, LaLonde,

and Smith 1999) are different and not weaker or stronger than

the assumptions used to identify the Roy model and its extensions.

Indeed when randomization breaks down, Roy models and their

generalizations can exploit the attrition and self selection information

to identify Pr(Y

1

> Y

0

). See Heckman (1992) and Heckman and

Vytlacil (2006a,b).

27

I keep the conditioning on covariates implicit. I assume a heteroge-

neous response model.

REJOINDER: RESPONSE TO SOBEL

155

---