¿Se puede predecir el futuro? Parte I: Las investigaciones de Philip Tetlock

por

En 1987, Philip Tetlock, un psicólogo especializado en política, quiso saber cómo de precisas eran las predicciones de los expertos. Por desgracia, la inmensa mayoría de veces en los medios no se hacen predicciones que podamos entender. Se dicen cosas como “Quebec podría separarse de Canadá”, o que es posible que tal dictador sea derrocado. ¿A qué se refieren con “podría” o “posible”? Muchas cosas son posibles, pero ¿son probables? ¿Cómo de buenos son haciendo predicciones los (supuestos) expertos?

Por aquel entonces ya había numerosos estudios que señalaban que a menudo los expertos no eran mucho mejores haciendo predicciones en ciertos ámbitos que reglas sencillas como “predice que las cosas van a seguir igual”. Así que Tetlock decidió comprobar qué pasaba en política. Para ello, reunió a 284 expertos con una media de 12 años de experiencia relevante. La mitad tenían doctorados, y venían de diversas disciplinas: estudios de área, relaciones internacionales, economía, seguridad nacional, periodismo, etc. Unos trabajaban en la universidad, otros en el gobierno, otros en organismos internacionales y en otros lugares. El tipo de gente que se espera que sepa de lo suyo, que pueden aparecer en medios, asesorar a ministros y demás. Y aquí llega la primera sorpresa: les tuvo nada menos que 16 años contestando un total de 27450 preguntas sobre política, economía y asuntos internacionales. Algunos ejemplos de estas preguntas podrían ser:

 

¿Va a volver a ganar las próximas elecciones el presidente de EEUU?

¿Va el país X a mantener, expandir o reducir su territorio en los próximos dos años?

¿Va a haber una epidemia de VIH en el país Y en los próximos 5 años?

¿Va a estar el PIB per cápita del país Z dentro de 4 años: a) entre 8000 y 9000 dólares; b) por debajo de 8000; o c) Por encima de 9000?

 

Y un largo etcétera de 27446 preguntas. La mayoría de ellas tenían tres posibilidades, como la última pregunta. El objetivo era que le asignasen probabilidades a cada alternativa, por ejemplo un 60% a la a), un 20% a la b) y un 20% a la c). Al final del periodo podrían coger todas las respuestas, agrupar las que tienen una probabilidad del 0%, 10%, 20%, etc., y ver si las cosas que dicen que solo pasan un 10% de las veces efectivamente pasan un 10% de las veces, por cuánto se han equivocado, etc. Una cosa está clara: lo tenían difícil. Nadie es experto (a la vez) en predecir temas tan dispares como elecciones, propagaciones de virus y proliferación de armas de destrucción masiva en Oriente Medio. Pero eso era mejor aún, porque así podían ver cómo de buenos eran prediciendo asuntos en general, y cómo de buenos prediciendo aquello en lo que se habían especializado.

El resultado fue una auténtica catástrofe. Si hubieran contestado a todo 33%, 33%, 33% (cuando hay tres alternativas) o 50% (cuando hay dos) habrían estado mejor calibrados que dedicándole dios sabe cuántas horas, y casi tendrían mejor puntuación. No fue así porque también se valoraba que fueran menos indecisos que eso. A veces incluso decían que había un 100% de probabilidades de que pasase algo y colaba, pero desde luego no fue la norma. Bastaba con hacer predicciones agresivas de que las cosas iban a seguir igual para empatar con ellos. Por ejemplo, decir que el país X tenía una probabilidad del 80% de seguir con exactamente el mismo territorio al final de los dos años. Así de triste. Y peor aún: daba igual si eran expertos en las preguntas o no, eran igual de malos. Su único consuelo es que sí ganaban a sus estudiantes, a los que también les preguntaron y eran peores que el mono y que cualquier cosa imaginable 🙁

Pero el estudio también tiene su parte bonita: los modelos estadísticos eran mucho, mucho mejores que los humanos. Al menos tenemos esa herramienta. Eso nos da una idea de lo importante que es aprender esta rama de las matemáticas. Muchos echan pestes sobre la estadística, pero no hay nada tan práctico como eso en matemáticas.

 

Lo sé, lo sé, a ti también te parece maravilloso.

 

Otra conclusión interesante es que daba igual la ideología. Puedes ser un ecologista pesimista que cree que vamos a morir achicharrados inevitablemente, un fanático del libre mercado que cree que el gasto público es la raíz del mal, creer que el funcionamiento de los países en la esfera internacional es la ley de la selva o que llegará el día en que todos nos abracemos y bailemos juntos el Kumbayá. Vas a ser igual de malo haciendo predicciones. Si algo, Tetlock vio que ser moderado era un poco mejor. Pero sí había una manera de separar a los que hacían predicciones medianamente potables de los que no: su personalidad. Con un cuestionario de 13 preguntas podían saber qué tipo de persona eres. Querían distinguir entre erizos, que tienen una gran idea y tratan de explicar todo lo posible dentro de ese marco; y zorros, que tienen muchas ideas pequeñas y les basta con improvisar explicaciones caso por caso. Los erizos creen que con la teoría correcta se puede analizar prácticamente todo y llegar a buenas predicciones, al menos a largo plazo. También tienden a creer que los investigadores universitarios complican las cosas innecesariamente.

 

¿Quién crees que lo hacía mejor?

Fotos por Siddie Nam y Jesus Duarte respectivamente.

La respuesta, para bien o para mal, es que los zorros. Su manera de pensar es del tipo “bueno, por un lado este dictador tiene muchos incentivos para invadir el país vecino, pero por el otro tiene que atender a la inestabilidad interna en su propio país. Aunque también puede que la guerra le sirva para aunar a su pueblo y la situación se estabilice. No sé, creo que la probabilidad de que invada es de un 60%”. No sería exactamente así, pero se entiende la idea: no dan las cosas por hechas y piensan en los argumentos a favor y en contra de algo. Eso no quiere decir que fueran más cobardes en sus predicciones, al contrario, eran más valientes! Y no les importa mantener pensamientos contradictorios en su cabeza, mientras que los erizos necesitan ser más decisivos y no quieren enredarse en detalles particulares. También eran bastante radicales en sus opiniones políticas, lo que ya hemos visto que no es buena idea cuando se trata de ver lo que nos depara el futuro.

Obviamente, hay mezclas de zorros y erizos, pero cuanto más zorros eran, mejor predecían. Al final, esto se traducía en que las probabilidades que elegían se alejaban de la frecuencia observada en un 12% de media para los zorros y en un 18% para los erizos. No es un margen gigante, pero se nota que pensar de una manera o de otra importa. Además, se produce un fenómeno curioso: los zorros lo hacen mejor cuando les preguntan sobre temas en los que son expertos que cuando no, mientras que los erizos predicen peor aquello de lo que más saben. Tienen más opiniones y están más enrocados en temas que conocen bien.

Philip Tetlock

(La línea de círculos negros es la calibración perfecta, cuando dicen que las cosas pasan un 70% de las veces, pasan un 70% de las veces. Cuanto más pegados a esa línea, mejor. Como se ve, los zorros (foxes) haciendo predicciones a corto plazo sobre temas que controlan son los mejores (línea de círculos blancos). Los erizos haciendo predicciones a largo plazo sobre temas que controlan son los peores).

 

¿Puede predecirse el futuro a largo plazo?

 

En bolsa ya hemos visto que en realidad es más fácil hacer algunas predicciones a largo (5-10 años) mientras que en este estudio se ve que en política no puede predecirse a largo. Y a pesar de lo que creyesen, los erizos eran peores que los zorros también en la predicción a largo plazo*.

No sé a vosotros, pero para mi es fascinante entender lo que es predecible y lo que no. En la próxima entrada continuaré con este tema para tratar un experimento de la inteligencia americana inspirado en estas investigaciones. No quiero destripar nada, pero descubrieron que algunas personas eran realmente buenas haciendo predicciones.

Para ir acabando, siento haber tardado taaaanto en publicar pero he estado un poco distraído de los temas de bolsa. Como quiera que sea, la política también mueve la bolsa, y más en estos momentos en los que los bancos centrales están inflándola, o cuando decisiones puramente políticas pueden provocar oscilaciones bruscas en los precios del petróleo.

Nada más, recuerda que si quieres tener un email avisándote de nuevas entradas no tienes más que suscribirte más abajo.

Que tengáis un lunes tolerable, inversores! 😉

 

P.D. Puedes leer todo sobre este estudio en este libro

 

*Quiero sugerir un pequeño experimento. La próxima vez que un comunista os cuente que vivimos un periodo de crisis del capitalismo, preguntadle cuándo va a desmoronarse en vuestro país exactamente. Si no dice fechas concretas, preguntadle si diría que faltan menos de cinco años, menos de 10, menos de 20 o más. Mi hipótesis es que dirán que faltan más de 10 años. Pero hemos visto que predicciones a tan largo plazo (sobre todo si vienen de erizos) fallan más que una escopeta de feria. Por favor, si preguntáis dejad un comentario, tengo curiosidad por sus respuestas!!

Share This