Analizando datos de los últimos tres años, no encontramos evidencia de que las declaratorias de contingencia ambiental por ozono hayan tenido algún efecto en la calidad del aire del día siguiente ni del día siguiente al siguiente.

Hace un par de meses durante el fin de semana comenzamos a percibir en la Ciudad de México un olor peculiar. El olor a humo invadió el centro de la ciudad y para el lunes en la mañana la mala calidad del aire era prácticamente palpable.

La tardanza de la jefa de gobierno para declarar contingencia tenía razones técnicas detrás; por un lado, la de este año era una contingencia atípica causada por partículas pm2.5 y, en consecuencia, no existía un protocolo claro sobre como atenderla. Por otro, el puntaje de este contaminante en el Índice Metropolitano de Calidad del Aire aún no alcanzaba los 150 puntos. De cualquier forma, la falta de claridad por parte del gobierno capitalino se ganó la crítica de muchas personas quienes no entendían por qué no se había declarado contingencia.

Este contexto nos hizo preguntarnos en Data Cívica, ¿qué sabemos realmente sobre la utilidad de la declaratoria de contingencia ambiental? O en otras palabras, ¿sirve declarar la contingencia?

Ilustración: Víctor Solís

Las críticas al no circula

Desde luego esta no es la primera vez que el tema se discute. En el pasado, varios autores han hablado críticamente del programa “Hoy no circula”, parte fundamental de cuando se declara una contingencia ambiental. En primer lugar, el “Hoy no circula”, genera incentivos perversos y en muchas ocasiones ha resultado en un aumento del parque vehicular en vez de en lo contrario. Sabemos que en el pasado el programa ha llevado a las familias a adquirir otro automóvil y, por ende, ha aumentado el parque vehicular y no ha conseguido que las personas sustituyan el transporte privado con el público. En segundo lugar, se ha hablado frecuentemente de las demás fuentes de contaminación además de los automóviles. La industria, por ejemplo, contribuye con alrededor del 13% de los contaminantes atmosféricos, y las contingencias ambientales no contemplan medidas al respecto.

Sin embargo, nuestra aproximación aquí va a ser diferente, no evaluaremos específicamente el Hoy No Circula desde sus incentivos, sino la efectividad de la declaratoria en general y lo haremos simplemente analizando si tiene un efecto sobre el nivel de ozono al día siguiente y al día posterior al siguiente de que se declare.

Las reglas sobre la contingencia

De acuerdo con el Programa de Contingencias Ambientales y Atmosféricas de la Ciudad de México, la contingencia por ozono se declara cuando el valor máximo del Índice Metropolitano de Calidad del Aire (IMECA) para este contaminante supere los 150 puntos en una o más de las estaciones de monitoreo localizadas dentro del área urbana.  Sin embargo, la contingencia depende también de que los pronósticos meteorológicos y de calidad del aire sean desfavorables para las siguientes 24 horas.

¿Qué tendríamos que hacer para evaluar la contingencia?

Evaluar la declaratoria de contingencia, como evaluar cualquier política pública, es dificl porque requiere que comparemos lo que en verdad pasó con lo que hubiera pasado si esa política pública no hubiera existido. Es decir, con un escenario hipotético.

No sirve tomar los valores del índice IMECA antes y después de una contingencia y ver si bajaron o subieron y ya. ¿Por qué? Supongamos que los IMECAS de hecho aumentaron. ¿Es esta señal inequívoca de que la política fracasó? No, porque puede ser que habrían aumentado mucho más de no haberse declarado la contingencia. De la misma manera una disminución no es señal de éxito porque podría haber ocurrido lo mismo, incluso si no hubiera habido declaratoria.

Entonces, para saber si la contingencia ambiental funciona, lo que necesitaríamos es comparar los días que se declaró la contingencia ambiental con lo que hubiera pasado esos mismos días si no se hubiera declarado contingencia.

Esto es claramente imposible.

Lo segundo mejor: qué podemos hacer con un modelo de discontinuidad

No podemos crear un mundo ideal ni el experimento perfecto, pero existe un modelo estadístico, llamado modelo de discontinuidad, que nos acerca muchísimo. Lo que nos permite este modelo es comparar días casi idénticos.

Parte de una idea muy sencilla ¿realmente hay mucha diferencia entre un día con 149 puntos de ozono en el IMECA y uno con 151? Probablemente no. Entonces podemos asumir que el día con 149 IMECAS es idéntico al de 151 excepto que en uno sí hubo contingencia y en otro no. Si comparamos a muchos días casi con contingencia con muchos días apenas con contingencia y vemos alguna diferencia sistemática entre los dos grupos en términos de contaminación al día siguiente, entonces probablemente podemos atribuírsela a la política pública.1

Entonces, nuestro modelo busca ver si la declaratoria de contingencia en un día determinado tiene un efecto en el máximo de ozono del día siguiente, controlando por todo lo demás, aprovechando la diferencia en días casi idénticos. Gracias al diseño de la discontinuidad pues, no se sesgan los resultados ni por el hecho de que la relación en la calidad del aire de un día y del día siguiente es muy alta ni por ningún factor climatológico. La premisa sigue siendo comparar días tan parecidos que podrían haber sido el mismo.

Ahora, hay un problema: como se discutió previamente, que el máximo del Índice de Calidad del Aire, en el contaminante Ozono, esté por encima de 150 no es garantía de que se declare contingencia ambiental. En los últimos tres años,2 el máximo diario de ozono estuvo 37 veces por encima de los 150 puntos, pero estuvimos en contingencia ambiental 24 días. No obstante, el límite de los 150 puntos sí hace más probable que se declare la contingencia.

No se preocupen, existe un modelo de discontinuidad, llamado fuzzy, que permite medir el efecto de la discontinuidad (es decir, el efecto de rebasar los 150 puntos en el IMECA) cuando no obliga pero sí aumenta mucho las probabilidades de que esos individuos reciban el tratamiento (la declaratoria de contingencia).

Lo que encontramos: no hay evidencia de que declarar la contingencia ambiental (al menos por Ozono) tenga efecto alguno en la calidad del aire

Para hacer este análisis graficamos en el eje horizontal el máximo diario de ozono en el día uno y, en el eje vertical el máximo diario de ozono en el día dos, para todos los días desde 2016. Los puntos verdes son los días en los que se declaró contingencia ambiental y los morados en los que no. En el eje horizontal podemos ver una línea en 150, que es cuando la probabilidad que se declare la contingencia aumenta de 0. La línea verde es la línea de regresión para los días con contingencia, es decir; la relación del ozono en el día uno con el ozono en el día dos. Para los días de la contingencia esperaríamos que el intercepto bajara. Es decir, que a pesar de que los puntos de ozono en el IMECA ambos días siguieran estando relacionados, dieran un salto hacia abajo, como podemos ver en la primera gráfica.  Al menos a simple vista, esto no parece sucede; sucede justo lo contrario. La linea morada es la relación del ozono en el día uno con el ozono en el día dos, para los días sin contingencia.

Al correr nuestro modelo no encontramos que para el día después de declarar contingencia, haya algún efecto sobre la calidad del aire. Es decir, en promedio la calidad del aire, al menos en cuanto a ozono, se comporta igual los días en los que se declara contingencia que los días después en los que no se declara. A pesar de que en las gráficas puede verse una especie de salto entre los días en los que se declaró contingencia y los días en los que no; nada de eso es significativo. De hecho, justo no hay en lo absoluto evidencia de la relación negativa que esperaríamos ver.

Existe, desde luego, la posibilidad de que los efectos de la contingencia no se vean un día después de declarada, sino dos. Bueno, ni así encontramos evidencia alguna de que la contingencia lograra alguna diferencia en los niveles de ozono en el IMECA.  El modelo sigue no siendo significativo.

Entonces, ¿de qué sirve declarar contingencia?

Hay tres cosas a tomar en cuenta de este ejercicio. En primer lugar, como ya mencionamos, en los últimos tres años sólo se ha declarado contingencia por ozono 24 días, lo que significa que tenemos pocos casos para medir la eficacia de la política pública. En segundo lugar, dado que los 150 puntos de Ozono en el Imeca no garantizan que haya contingencia, el modelo (fuzzy) es menos robusto que si los 150 puntos lo garantizaran (sharp).

Habiendo considerado todo esto, para los últimos tres años, no encontramos evidencia significativa de que las medidas de la contingencia  nos permitan respirar mejor después de aplicadas.

Cabe mencionar que los índices de contaminantes se registran en la Ciudad por estación y no por día. Para fines prácticos, nosotros decidimos evaluar si la contingencia tenía efecto sobre el máximo de ozono del día, independientemente de en cuál región se registrara. Esto significa que cabe la posibilidad de que la contingencia ambiental tenga efectos en una zona de la ciudad y eso no se registre en nuestro ejercicio. De cualquier forma creemos que una política pública efectiva debería tener efectos generalizados, no sólo focalizados. De ahí lo relevante de nuestro análisis.

Nuestros resultados coinciden además con los hallazgos de un académico de la Universidad de Berkeley que hace un par de años hizo un estudio sobre el “Hoy no circula”. Davis concluyó que los efectos del programa sobre todos los contaminantes son prácticamente nulos. Esto se debe principalmente, dice él, a que en los días en los que no circulan, la gente no ha substituido el automóvil por el transporte público o por un método de transporte alternativo, como la bicicleta.

Hace un algunos meses la ciudadanía se volcó sobre la Jefa de Gobierno porque no declaró contingencia ambiental hasta después de varios días, pero la evidencia muestra que, con las medidas actuales que implica la contingencia ambiental, declararla es, por decir poco, insuficiente. Si realmente queremos respirar mejor y mejorar la calidad del aire en la Zona Metropolitana del Valle de México, debemos volcar nuestras exigencias no sólo hacia declarar contingencia; sino hacia las medidas que implica la contingencia.

Después de esos días se anunció que las medidas durante las contingencias ambientales cambiarán, en el futuro podremos volver a evaluar los resultados para determinar si por fin estamos haciendo lo necesario para mejorar la calidad del aire.

 

Georgina Jiménez y Carolina Torreblanca.

Nota Metodológica

Todos los datos sobre el Índice Metropolitano de Calidad del Aire se obtuvieron de aquí
El código y todo el material para replicar los hallazgos los pueden consultar en este link.


1 Esto nos permite sortear el efecto que tienen las condiciones atmosféricas en la declaración de contingencia. El modelo también considera días en los que el Ozono no llegó a los 150 puntos y, por ende, no tenemos razones para creer que en esos días las condiciones atmosféricas sean sistemáticamente distintas a las de los días en los que el ozono superó los 150 puntos.

2 Nuestro análisis se limita a estos años debido a que las reglas para declarar contingencia ambiental cambiaron desde 2015