Las diferencias en diferencias y la transparencia Por Silvio Rendon

No soy muy entusiasta de calcular "diferencias en diferencias" (diff-in-diff) (ver una presentación aquí). Prefiero las estimaciones estructurales, si los datos lo permiten. Sin embargo, para todo propósito es mejor calcular diff-in-diff que sólo "diff".

Se observa a un individuo a lo largo del tiempo y éste registra una variación sustancial en un momento dado, coincidente con un cambio de régimen. El investigador quisiera saber si fue el cambio de régimen el que causo esta variación o algún otro factor. Durante ese momento del tiempo no sólo se produjo el cambio de régimen; pueden haberse producido muchas otras cosas más. Lo que se hace entonces es recurrir a un "grupo de control", que no haya experimentado el cambio de régimen, pero sí esos otros factores, comunes a todos los individuos. Sólo comparando los diferentes resultados, por un lado antes y después del cambio de régimen, y por otro lado, entre el individuo o grupo "tratado", que sí experimenta el cambio de régimen, y el grupo de control, que no lo experimente, se puede concluir que el cambio de régimen explica la variación observada. Es lo que se llama una "diff-in-diff".

Este tipo de consideración es importante para evaluar, por ejemplo, las recientes denuncias sobre favoritismo en publicidad estatal hacia RBC y favoritismo en asignación de recursos públicos a Julio Favre. Para demostrar que hay el favoritismo que se está denunciando falta el grupo de control, es decir, tener un estándar con qué comparar los saltantes incrementos en la asignación de fondos hacia RBC y hacia Favre. No basta con que se vea un salto en un cuadro (ver RBC RENACE...CON LA PLATA DE TODOS LOS PERUANOS y UNAS PREGUNTAS PARA JULIO FAVRE ). De hecho en RBC: ENTREVISTA A LUIS ALFONSO MOREY uno de los denunciados argumenta que hay que ver también los montos de publicidad que reciben otros canales de televisión. Y no le falta razón. Si se va a decir que un incremento es inusitado, tiene que hacerse en base a un estándar, a un grupo de control.

Las denuncias en el aspecto cuantitativo dejan pues mucho que desear. Están más basadas en lo cualitativo, en el conflicto de intereses que supone que algunas personas estén vinculadas a la vez al poder político y a los negocios privados. Una persona no puede servir al mismo tiempo al estado y a su bolsillo. Eso no es transparente. Así esta persona no haga nada raro, se tiene que evitar el conflicto de intereses: ni Miguel Del Castillo podría comenzar negocio privado alguno que tenga relación con el gobierno mientras su padre esté en el gobierno, ni Julio Favre, empresario él, podría tener un cargo público (1). Para decir eso no se necesitan números.

Pero claro, si se entra a exponer números y no se puede demostrar cuantitativamente que hay un comportamiento significativamente diferente entre los "favorecidos" y el resto de empresarios, pues los denunciantes se quedan sin caso. En buena onda, tocaría que traten de dar el siguiente paso y que calcularan las diff-in-diff.

______

(1) En el caso de Favre estuvo claro desde el principio que había un conflicto de intereses y que se trataba de un cargo público ad hoc, paralelo a las autoridades ya existentes (ver 15-8: Zares y azares 2). En el caso de Miguel Del Castillo noto un cambio en cómo ha sido percibido. Inicialmente él y su equipo fueron bien recibidos (por los mismos sectores que ahora los denuncian) como los "jotitas" de la tele. Había una actitud positiva hacia él, que luego (curiosamente después de que César Hildebrandt no fuera contratado por RBC) cambió radicalmente. Si lo hubieran denunciado desde el comienzo, cuando era un prometedor "jotita", sería más creíble que en este asunto sólo hay un tema de conflicto de intereses y transparencia. Después de escuchar los ataques personales de Jaime Bayly contra Miguel Del Castillo desde un canal de la competencia (ver aquí) y la alusión a la telebasura, no suena a que todo sea un tema de transparencia o favoritismo...

Actualización 18/04/2008, 2:42pm: José Talavera comenta este post en "El periodismo en cuestión". Le comentaba a su vez que es muy peligroso hacer denuncias que no estén bien sustentadas, pues acaban por desprestigiar a quien las hace. Leo a Roberto Bustamente:

Repensando la información, no veo muy consistente afirmar que hay un favoritismo hacia Redondos (sobre todo cuando dentro del último período SF recibió más de 7 millones de soles en solo un mes, junio del 2007). Que puede haber algo, sí. El tema de fondo sigue siendo si podía efectivamente tener un cargo público (”Zar de la reconstrucción”) y participar en este tipo de licitaciones. Pero eso ya es materia de abogados.
La venta de pollos al estado peruano

Le decía también que esto constituye un reconocimiento de que se precipitaron con la denuncia a Favre, con lo cual no han precisamente ayudado a desentrañar un tema tan delicado e importante como el favoritismo y la falta de transparencia en el estado peruano. Claro, se ha creado una imagen en base a datos mal trabajados. No estamos ante una denuncia seria. Se cae, una vez más, en el terreno de los golpes bajos.

Actualización 18/04/2008, 8:12pm: Roberto Bustamante publica en el post mencionado los datos que ha utilizado para sus gráficos. Hagamos pues la diff-in-diff muy simple:

Diff-in-diff: Ventas al estado peruano. Redondos y San Fernando. Antes y con Alan García
Empresa

1. Redondos:

• Antes de García: 7,526
• Con García: 127,213
• Aumento absoluto: +119,688
• Aumento relativo: +1590%

2. San Fernando:

• Antes de García: 893, 963
• Con García: 1'279,604
• Aumento absoluto: +385,641
• Aumento relativo: +43%

3. Diferencias Redondo - San Fernando:

• En aumento absoluto: -265,954
• En aumento relativo: +1547%

Nota: "Antes de Garcia" es el promedio mensual de ventas de enero de 2005 a junio de 2006. "Con García" es el promedio mensual de julio de 2006 a abril 2008.

Aquí faltan las desviaciones estándar, que permitan hacer una prueba de significación estadística. Falta también deflactar, es decir, pasar de valores nominales a valores reales. Sin embargo, se puede apreciar que en términos absolutos San Fernando es definitivamente una empresa más consolidada como proveedora del gobierno. Tiene un importante volumen de ventas al gobierno. Redondos recién está comenzando, y evidentemente ha dado un salto con García, no de un mes a otro, sino en su promedio de ventas mensuales de la administración previa a la administración de García. Así y todo, este gran aumento representa menos de un tercio del aumento absoluto de San Fernando. En términos relativos hay un gran aumento para Redondos, pero esto es lo que suele ocurrir cuando se parte de niveles muy pequeños. Como la base es muy pequeña el incremento resulta ser gigante. Por ejemplo, si se pasa de cero soles a un sol de ventas, el aumento relativo registrado será infinito. Por tal aumento no podemos pensar que se trató de un fenómeno inusitado o irregular. Aún así, incluso con este gran aumento el volumen de Redondos con García es sólo aproximadamente el 10% del volumen de San Fernando. Ni en términos absolutos ni relativos parece que puede hablarse de un aumento irregular de Redondos.

En suma, los guarismos no parecen dar pie para la denuncia que se ha hecho en la prensa, sobre todo en la forma cómo se la ha hecho.

El abuso de lo cuantitativo en psicología Por Susana Frisancho

He puesto un nuevo post en mi blog. Como el asunto del abuso estadístico ocurre también en otras disciplinas, pensé que podía ser de interés. Va aquí

II Coloquio de Estudiantes de Economía 2007 Por Carlos

Atención aspirantes a Economistas y flamantes egresados: esta abierta la la convocatoria a todos los alumnos y egresados-2006 de las especialidades de Economía de todas las universidades del país, para que presentan sus trabajos de investigacion hasta el día viernes 5 de octubre. El tema es libre. Para todos aquellos interesados, he transcrito las bases aquí.

Mayores informes:

coloquio_economia@pucp.edu.pe

Freakonomics II Por Carlos

En un post reciente, Silvio nos comentaba sobre el articulo de Noam Scheiber en The New Republic criticando la forma de trabajo de Steve Levitt (ver post original para leer el articulo).

Interesados en leer mas opiniones al respecto, pues seguramente muchos (incluyendome, en este post) le pedimos al blogger economista de moda en estos dias, Gregory Mankiw, que dedicara unas lineas a comentar el articulo. Se puede leer aquí sus comentarios sobre el articulo y el tema en general.

Otros blogs de economía importantes también opinaron, como:

• Marginal Revolution: Is Freakonomics ruining Economics?
  
• y Karl Smith en Modeled Behavoir: In a Word - No.
  

Hoy, me entero vía Tyler Cowen que Steve Levitt mismo ha respondido a Scheiber en su blog:

• Primero ventilando el tema a comentarios, aquí
• Y, respondiendo directamente aquí

Lamento mucho que el tema se haya tornado en un asunto personal. Se perdió la forma de la discusión, dado que el autor del articulo en mención se apoyo mucho en el trabajo de Levitt como ejemplo de Investigación Empírica irrelevante. Si bien N. Scheiber no tiene muchas credenciales dentro de la profesión (ver 2ndo post de Levitt), más que opinar sobre la relevancia o no de Freakonomics, había logrado tocar un tema importante: la forma de trabajo de Levitt -lejos de la relevancia del trabajo en si mismo, se ha convertido en el "Role model" entre los economistas jovenes y aspirantes a economistas, e inevitablemente esta teniendo o tendrá algún efecto sobre la profesión y su expansión hacia otras áreas, de aquí en adelante.

No se trataba de responder si "Steve Levitt esta arruinando la Economía", sino, analizar cual es el impacto que la forma de trabajo de Levitt -resumido en su libro Freakonomics- podría tener a futuro dentro de la profesión. El resultado al final: alineaciones y muestras de solidaridad de bloggers y lectores con el trabajo de Levitt, y al mismo Steve Levitt defendiendo la relevancia de sus trabajos, en vez de hablar sobre lo que se supone era el punto de discusión: la metodología.

De todo el episodio, me quedo con el otro paper posteado por Silvio, de 'como hacer economía empírica'. Me gustaría mucho leer uno similar, pero sobre 'como hacer economía teórica'. Eso era lo que en verdad esperaba encontrar tras el debate que imagine se armaría, y no la discusión personal que finalmente se armó..... una lastima. Para otra sera.


Atención investigadores (y alumnos de tesis 1 en general): Hace unos días leía sobre un error común, incluso hasta en los papers de las revistas mas prestigiosas: confundir Métodos con Metodología. Es super breve y muy recomendable.

Investigación bajo restricciones Por Silvio Rendon

Hace poco el Instituto de Opinión Pública de la PUCP publicó la encuesta "A propósito de San Valentín. Una Visión Liberal para temas tradicionales" sobre temas sexuales y de pareja. El cardenal Cipriani reaccionó así:

Encuesta no presenta valoración moral

Cardenal Cipriani extrañado por encuesta de Pontificia Universidad Católica

LIMA, 19 Feb. 07 / 12:26 pm (ACI).- El Arzobispo de Lima y Primado del Perú, Cardenal Juan Luis Cipriani, expresó su extrañeza por la reciente encuesta dada a conocer por la Pontificia Universidad Católica del Perú, en donde se trata el tema de las relaciones prematrimoniales en los jóvenes, sin valoración moral alguna.

“Francamente me sorprende que una universidad católica no de una valoración moral a estos temas. Puede dar un dato numérico, pero tiene obligación como institución católica de dar una valoración moral, qué es lo que la Iglesia enseña sobre la institución del matrimonio y de la familia”, indicó el Purpurado.
(...)

José Alejandro posteó magistralmente sobre las intentonas cardenalicias en la PUCP: CIPRIANI VS. LA UNIVERSIDAD CATOLICA: NUEVO ROUND. El tema viene de hace rato (ver El Vaticano A la Conquista De la Católica).

Comentario: Quiero entender eso de "puede dar un dato numérico, pero tiene obligación de dar una valoración moral". Pongamos un ejemplo. En la encuesta se pregunta (p. 3):

¿Le parece una buena o mala idea que las parejas convivan un tiempo antes de casarse㼀

La respuesta es

• Buena idea: 70%
• Mala idea: 26%
• No sabe/no responde: 4%
  

OK, aquí está el dato numérico que sí se puede dar. Ahora veamos la "obligacion de dar una valoración moral". Intentemos responder cuál tendría que haber sido esa valoración.
Opciones:

a) "Es nuestra obligación declarar que estos resultados son preocupantes. Nos llama la atención que a 70% de los encuestados les parezca que es una buena idea que haya convivencia antes del matrimonio".

b) "Es nuestra obligación advertir que esta convivencia puede realizarse, siempre y cuando no haya relaciones sexuales de por medio."

c) "Estas cifras son indicativas de la presión de los medios liberales sobre la juventud. Los encuestados, que en realidad no conviven antes de casarse, contestan que les parece una 'buena idea' por efecto de la censura social en la que viven. Es nuestra obligación apoyar a estos jóvenes con una mayor educación moral".

d) [Ninguna valoración a esta pregunta. Simplemente se la hubiera eliminado de la encuesta.]

e) "...la convivencia antes del matrimonio, esa cojudez".

Bueno, cualquiera de estas opciones hubiera sido potable para el cardenal, aunque sospecho que la última hubiera sido su favorita...

Los vituperados científicos sociales en vez de seguir alguna de estas opciones declararon nada menos que lo siguiente:

Los resultados podrían remitirnos a imaginarla [a Lima] como una ciudad conservadora y bastante tradicional, sin embargo, la encuesta que presentamos devela que estamos ante una población que se imposta frente a estos temas con una actitud mucho más liberal.

Y encima se ponen hablar de "Una población pragmática", de "Una sexualidad diferenciada" y de "Una pareja más abierta, más libre y más flexible". Para ajustarse a los criterios cardenalicios hubieran tenido que ser menos descriptivos y más normativos. Hubieran podido satisfacer al cardenal si hubieran usado "de valores morales" en vez de "conservadora y bastante tradicional" y "promiscua" en vez de "liberal".

Esta intromisión extraacadémica bloquea y condiciona las posibilidades de investigación. La pregunta es ¿cómo se puede hacer buena investigación en ciencias sociales con alguien objetando los resultados y las elaboraciones de los investigadores?

Pongamos un ejemplo. En este trabajo

Bearman, Peter S., James Moody, and Katherine Stovel,
Chains of Affection: The Structure of Adolescent Romantic and Sexual Networks,
American Journal of Sociology., Vol. 110 (2004), pp. 44-91.

se estudia el comportamiento sexual y romántico de los adolescentes. Se puede leer un artículo periodístico al respecto en:

RESEARCHERS MAP THE SEXUAL NETWORK OF AN ENTIRE HIGH SCHOOL.

La vida sexual en las escuelas parece que va en cadenas: individuo A sale con individuo B, que a su vez sale con individuo C, etc. En una escuela secundaria encontraron una cadena de 288 personas de longitud (52% de la muestra). En esta población adolescente no abundan los nodos (B sale con A, C sale con A, D sale con A, etc.), como al parecer sí que es el caso con la población adulta. Es una línea de investigación interesante y además con aplicaciones prácticas importantes como la prevención de enfermedades de transmisión sexual en la población adolescente.

Este artículo no hubiera sido posible si las instituciones académicas hubieran estado exigiendo valoraciones morales a sus investigadores. Es que no tienen por qué. Basta con que se entienda que cada autor/a es responsable de sus ideas. Las instituciones ganan prestigio cuanto mayor sea su tolerancia, su creatividad, su capacidad tecnológica, su rendimiento académico. No se trata de estar micromonitoreando lo que hace cada investigador/a. Las creencias tienen su lugar y la libertad académica, también.






Las relaciones sexuales y románticas en una escuela secundaria americana.
(Hacer click en la imagen para agrandarla).