Sesgos de publicación: El caso de los programas de educación pre-escolar

En la búsqueda constante por encontrar argumentos a favor o en contra de las extensión de la obligatoriedad de la sala de 3 años por ley, me he encontrado con diversos materiales muy interesantes. Entre ellos éste publicado originalmente en el blog Katalepsis en junio del 2015. Por eso decidí republicarlo en mi blog...
Siempre me interesó saber desde dónde y con que grado de certezas se toma una decisión política. Sobre todo aquellas que se desarrollarán en el ámbito educativo y que tendrán impacto, hoy y en el futuro, sobre miles y miles de chicos, jóvenes o adultos. Parece que últimamente hemos dejado de preocuparnos por eso y preferimos justificarlas solamente con lógicas de "sentido común" o "imaginarios colectivos" que seducen a las audiencias pero que pueden o no demostrarse empíricamente sus verdaderos alcances y efectos...
En este sentido y, aunque el texto no tenga por objetivo principal refutar una política concreta sino el de adoptar cierta cautela frente a la contundencia de las conclusiones de cada estudio en el campo de las ciencias sociales, me pareció muy cautivante este post...
Aquí el material que no tiene desperdicio...


Existen estudios que dicen probar que los programas de educación pre-escolar de alta calidad tienen efectos destacables y duraderos sobre múltiples habilidades cognitivas y no cognitivas en los niños que asisten a estos programas. Algunos nombres de los ensayos célebres de este tipo de medidas son el Perry Preschool Program y el Abecedarian Program, y de forma más extensa, el Programa Head Start. En España, probablemente el sitio donde se les ha dado mayor publicidad a estos estudios es en Politikon. Así, podemos leer que: 
"Sabemos, y hay una cantidad absolutamente descomunal de literaturapara respaldarlo, que los primeros mil días en la vida de un niño son cruciales para su desarrollo cognitivo. El cerebro desarrolla su capacidad de aprendizaje entre los cero y tres años. […] debemos preocuparnos sobre el gasto de educación en primera infancia. Los estudios, de nuevo, respaldan esta afirmación: los programas de educación infantil producen mejoras claras y sostenidas en el desarrollo educativo de los niños, y generan retornos considerables a largo plazo en ingresos adicionales y movilidad social. Cuanto antes en la vida de un niño invirtamos el dinero, más efectiva será nuestra inversión. (Educación, inversiones y primera infancia. 2014)"
"Cada vez más los programas de primera infancia toman mayor importancia en el diseño de políticas públicas en todo el mundo. Sin embargo, aún hay mucho por mejorar. La ventana de oportunidad para este tipo de inversiones es muy corta y sus consecuencias durarán toda la vida. […] El hecho de que las brechas en habilidades se generen a edades tan tempranas implica que si no se hace nada al respecto en la primera infancia se estará perpetuando la desigualdad en las sociedades –tanto al interior como entre éstas. La ventana de oportunidad para las inversiones en primera infancia es muy corta y sus consecuencias durarán toda la vida. (¿Qué sabemos sobre el Desarrollo Infantil Temprano desde la economía? 2014 )"
"La literatura sobre el tema es muy clara: si queremos mejorar espectacularmente la igualdad de oportunidades y el futuro de los niños de renta baja en España, ninguna inversión tiene mejor retornoque la educación en primera infancia. James Heckman ha habladolargo y tendido sobre estos temas, y la evidencia empírica es abundante y clara. Estamos hablando de guarderías y centros de día de buena calidad para niños de cero a tres años, a ser posible universales y gratuitos. (Seis políticas para redistribuir renta. 2013)"

Problemas con la evidencia
Sin embargo, la evidencia, si bien ciertamente es abundante, no es tan clara. Recientemente, en la London Conference on Intelligence, uno de los ponentes, Andrew Sabiski argumentó a en contra de políticas de apoyo a la primera infancia,y a favor de mejor esperar para evaluar las capacidades de cada niño o clase, y poder realizar intervenciones allí donde estas puedan tener más beneficios. Según Sabiski, los beneficios de la educación infantil están sobrevalorados.


Impacto de programas infantiles según fecha y precisión

En este gráfico podemos ver los resultados de un reciente meta-análisis (Duncan & Magnuson 2013) sobre programas de educación infantil y su impacto en habilidades cognitivas. En el eje de abscisas tenemos la fecha en la que se hizo el estudio, y en el de ordenadas, el efecto del mismo, medido en desviaciones estándar. El tamaño de las burbujas es inversamente proporcional al cuadrado del error estándar del programa. Esto es, burbujas más grandes corresponden a estudios más precisos. Podemos observar varias tendencias:
  • Según pasa el tiempo, la efectividad de los programas se va reduciendo. Los programas anteriores a 1980 producían un efecto de 0.33 desviaciones estándar, y esa cifra cae a 0.16 si consideramos los hechos desde entonces. Los autores se preguntan por qué esto es así, ya que esperarían que los efectos fuesen mejorando si lo que se aprende en unos estudios se pone en práctica en los siguientes. Duncan & Magnuson plantean que la mejora en las condiciones de los grupos de control han mejorado sustancialmente: Para el caso de las familias más pobres, apenas un 18% asistía a guardería en 1970, y esa cifra se ha elevado a algo más del 37% en 2010.
  • Los estudios de hace 40 años no son tan precisos como los actuales
  • Dos de los ejemplos usuales que suelen ponerse para ilustrar los beneficios de estas intervenciones son estudios antiguos, poco precisos, y outliers respecto al resto de estudios
  • Existen discrepancias sobre si estos programas tienen efectos sobre variables como criminalidad, comportamiento antisocial o problemas psicológicos.

Los autores se muestran entusiastas al respecto, haciendo una llamada a más y mejores estudios, pero al mismo tiempo, le dan el visto bueno a implementar ya estos programas. Pero dada esta evidencia, se pueden llegar a las conclusiones opuestas: antes de gastar dinero, es mejor saber que éste va a ser realmente efectivo (Armor 2014) Sin embargo, el propósito de este artículo no es tanto discutir sobre los costes y beneficios de estas intervenciones, sino sobre un problema existente en la literatura reflejada en el meta-análisis citado anteriormente: el sesgo de publicación.


Funnel plots: Estudiando estudios
Para ello, debemos presentar el concepto de funnel plot. Un funnel plot es un gráfico que recoge el tamaño del efecto encontrado por un estudio (sobre alguna variable arbitraria) y la precisión del estudio:

Funnel plot

Los estudios en ciencias sociales tienen el problema de no ser ni de lejos tan precisos como los de ciencias naturales, lo que da lugar a criterios de aceptación de resultados que si se juzgasen con los estándares de la Física serían risibles. Estos problemas metodológicos dan lugar a que existan estudios que afirmen una cosa y la contraria, o que presenten resultados dispares. Un ejemplo de esto podéis verlo en este vídeo, que introduce la problemática, relacionada, del uso de p-valores. Pero si se hacen muchos estudios, y los errores están distribuidos aleatoriamente, y además hay estudios con precisión diferente, podremos dibujarlos todos en una gráfica, y deberíamos observar cómo según aumenta la precisión, se produce una convergencia hacia un valor (el verdadero, se infiere) del efecto del estudio. Además, también debería observarse que el gráfico es simétrico.

De no serlo, y habiendo muchos estudios, puede ser señal de sesgos en publicación: datos cocinados que llevan a que los errores, en agregado, no estén distribuidos normalmente, sesgando la distribución de muestras normalmente al alza -por presiones internas al mundo académico, existen incentivos a inflar los resultados obtenidos, o a no publicar resultados negativos o nulos (Matosin et. al 2014) De aquí, dos puntos importantes: El primero, que encontrar un estudio que afirme algo no implica que ese algo sea cierto, especialmente en ciencias sociales. Y el segundo, que si vemos que la literatura sobre algún tema presenta un funnel plot así deberíamos sospechar de la existencia de sesgos de publicación.:


Funnel plot sesgado


Sesgo de publicación en educación pre-escolar
Con los programas de educación infantil, éste parece ser el caso. Garrett Jones y Emil O.W. Kirkegaard encontraron los datos tabulados del gráfico expuesto anteriormente, y Kirkegaard decidió representar su propio funnel plot con dichos datos, que recogemos a continuación:


Funnel plot para programas de educación infantil. Las líneas negras representan la media de los efectos de estudios grandes (línea continua) contra la de los pequeños (discontinua), mientras que las azules recogen la media, la mediana (discontinua) y la media ponderada (línea de puntos)

El mismo gráfico puede también verse añadiendo una correlación entre precisión y tamaño del efecto:



Correlación entre tamaño de efecto y precisión
Vemos que, primero, el gráfico está lejos de ser simétrico, que los resultados de estudios con poblaciones mayores son más cercanos a cero y que, aún con el sesgo, existe una correlación inversa entre precisión y tamaño de efecto.

Habilidades no cognitivas, una posible salida

En el metaanálisis diferencian entre habilidades cognitivas (g, generalmente) y no cognitivas (también The Need to address noncognitive skills in the education policy agenda):

"Many early childhood education programs appear to boost cognitive ability and early school achievement in the short run. However, most of them show smaller impacts than those generated by the best-known programs, and their cognitive impacts largely disappear within a few years. Despite this fade-out, long-run follow-ups from a handful of well-known programs show lasting positive effects on such outcomes as greater educational attainment, higher earnings, and lower rates of crime. Since findings egarding short and longer-run impacts on “noncognitive” outcomes are mixed, it is uncertain what skills, behaviors, or developmental processes are particularly important in producing these longer-run impacts. (Duncan & Magnusson 2013)"

La crítica anterior sólo aplica a los estudios revisados en el metaanálisis, donde se recogen sólo habilidades cognitivas. Desconocemos si este sesgo está presente también en esta otra literatura.

Conclusión
A la vista de esto, deberíamos ser más cautos a la hora de defender este tipo de intervenciones, y esperar a tener más información sobre las mismas o de forma más general, de afirmar que una ciencia social dice algo de forma rotunda si no hay un robusto meta-análisis detrás (Y aún en esos casos, puede seguir habiendo problemas: Existen metanálisis con los más altos niveles de rigor que prueban la existencia de fenómenos paranormales! (Bem et. al 2014). Para una explicación de esto, ver este excelente post en Slate Star Codex) Esto sólo ilustra la problemática que tiene afirmar que algo es el caso en ciencias sociales, y que se hace necesario elevar aún más los niveles de cuidado en este campo.

Es un tema para otra ocasión, pero sería interesante estudiar la conveniencia de aumentar los niveles de rigor que se les exige a las ciencias sociales para afirmar que han descubierto algo de forma rotunda. ¿Llevaría esto a un vacío epistémico de las ciencias sociales o por el contrario es un error exigirles lo que se le exige a la Física? Desde aquí nos apuntamos a la segunda opción, que va de la mano de la llamada a una mayor humildad a la hora de afirmar que la ciencia dice esto o aquello.


Bibliografía

Armor, D. J. (2014). The Evidence on Universal Preschool: Are Benefits Worth the Cost?.

Bem, D., Tressoldi, P. E., Rabeyron, T., & Duggan, M. (2014). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events

Duncan, G. J., & Magnuson, K. (2013). Investing in preschool programs. The journal of economic perspectives: a journal of the American Economic Association, 27(2), 109.

Matosin, N., Frank, E., Engel, M., Lum, J. S., & Newell, K. A. (2014). Negativity towards negative results: a discussion of the disconnect between scientific worth and scientific culture. Disease models & mechanisms, 7(2), 171-173.


LINK ORIGINAL

Comentarios