🔮 ¿Qué tan bueno es ChatGPT pronosticando el futuro?
Aprovecho que su base de datos solo llega hasta enero de 2022 para preguntarle si cree probable que Putin invada Ucrania o Israel sea atacado por Hamas
Una de las muchas cosas que hago en mi trabajo es tratar de tener una imagen razonable sobre lo que va a pasar. Lo hago en mis colaboraciones con Eurasia Group (que se gana la vida esencialmente así), lo hago en EsadeEcPol para poder anticipar un poco dónde podemos ser más relevantes en el debate público, y lo hago en algunas de las cosas que escribo en El País (elecciones en Argentina; elecciones en mi querida Bogotá).
Para que sean útiles, los pronósticos no deben ser declaraciones vagas o ambiguas que no pueden ser efectivamente probadas ni refutadas. Eso no sirve de nada porque no informa tus decisiones, ni las de quien te escucha. En cambio, sí deben ser:
concretos
cuantificables, al menos en grado si no en cantidad
con una probabilidad asociada de suceder y una confianza sobre tu pronóstico (medida de la calidad de la información en que lo basas)
soportados en un “por qué”, y acompañados de un “qué tendría que cambiar para que esto no pasara”
actualizables conforme recibes nueva información
Vamos a diciembre de 2021 para poner un ejemplo.
🤷🏼♂️ Ejemplo de pronóstico inútil: la situación en la frontera ruso-ucraniana seguirá siendo inestable condicionada por los movimientos tectónicos de la geopolítica mundial.
👌🏻 Ejemplo de pronóstico útil y actualizable:
Dic-21: es más probable que Putin no invada Ucrania que lo contrario (que sí lo haga) por los enormes costes políticos, diplomáticos, económicos y militares que supondría ese esfuerzo; pero la diferencia entre ambos eventos es menor ahora de lo que era hace un año. La escalada de retórica y ciertos movimientos militares indican en esa dirección. Para cambiar esto deberíamos ver una escalada mayor en la retórica y un movimiento militar más significativo.
Ene-22: las probabilidades entre ambos eventos se han ajustado hasta emparejarse debido a los significativos movimientos de tropas y a las señales retóricas desde Moscú, haciendo ahora mismo probable una acción militar de considerable envergadura aunque alcance posiblemente limitado en ambición territorial.
Feb-22: el hecho de que los movimientos de tropas y material parezcan estables, no relacionados con ni justificables por ejercicios habituales, hace que debamos otorgar una probabilidad alta a la invasión. El volumen de estas tropas además sugiere que es muy posible que su alcance vaya más allá de las regiones que ya se encuentran bajo conflicto influido desde Moscú. La probabilidad de una invasión completa que pretenda alcanzar Kiev ha pasado a ser alta. Para que esto no suceda deberíamos ver una retirada de tropas o un cambio drástico en la retórica desde Moscú.
En mi cabeza, la manera en la que funciona ChatGPT no es tan distinta de cómo los humanos hacemos esto: partimos de una imagen borrosa pero ganamos resolución sobre lo que está pasando conforme adquirimos más información; en esta ganancia de resolución le podemos dar al play mental en un momento dado para ver por dónde puede seguir la película. Así que quería poner a prueba esta idea.
Primero le dije a ChatGPT [Plus, modelo GPT-4, actualizado a finales de septiembre y con info en su base de datos hasta enero de 2022] que esto iba a ser un experimento tipo superforecasting de Philip Tetlock. Que solo quería que me dijera cómo de probable en cuatro grados (very likely, somewhat likely, somewhat unlikely, very unlikely) veía cada uno de los siguientes eventos (todo en inglés porque funciona mejor en inglés). A continuación su predicción (que me justificó detalladamente) y si ❌ falló o ✅ acertó.
❌ Hamas attacks Israel · Very unlikely
❌ Putin invades Ukraine · Somewhat unlikely
❌ Elon buys Twitter · Very unlikely
✅ Overturn Roe v Wade · Somewhat likely
✅ New Catalan unilateral referendum · Somewhat unlikely
✅ Definitive proof of extraterrestial life · Very unlikely
❌ Snap Spanish election · Somewhat unlikely
✅ Trump indicted · Somewhat likely
❌ Curbing chip trade · Somewhat unlikely
✅ Bad Bunny topping album streaming charts · Somewhat likely
✅ Drake topping artist streaming charts · Somewhat likely
Más que el conteo de cuántas acertó o no (injusto porque yo elegí las preguntas), me interesa cuáles acertó y cuáles no. Falló en las que eran a la vez más difíciles de predecir por improbables con la información ex ante pero también con profundas consecuencias a corto y largo plazo.
Creo que ChatGPT no tiene mucha imaginación, o prefiere no tenerla o no dejarla volar en este específico (es decir, está programado para no hacerlo). Así que no me parece especialmente útil en este formato: no me ha dicho nada que un analista medio razonablemente informado no me hubiera dicho ex ante.
Pero ¿qué pasa si le añadimos resolución a la imagen y le pedimos algo más sistemático, menos abierto? Centrémonos en los dos eventos más relevantes de la lista: la invasión de Ucrania y el ataque de Hamas. Vamos a ver qué tal lo hace ChatGPT una vez le revelo qué ha sucedido, le añado información, y le pido predicciones sobre desarrollos ulteriores más específicos. Le planteo la pregunta y le indico tal cual los criterios establecidos en la lista de arriba para un buen pronóstico. Pongo a renglón seguido su análisis tal cual.
Mi pregunta: ¿Logrará Putin tomar Kiev antes de febrero de 2023?
Pronóstico
Según la información disponible hasta enero de 2022, estimo que la probabilidad de que Rusia conquiste con éxito el territorio hasta Kiev y produzca un cambio de gobierno en Ucrania en los próximos 12 meses es aproximadamente del 30-40%. Mi confianza en este pronóstico es moderada.
Justificación
Por qué la probabilidad no es mayor:
Sanciones: Una invasión a gran escala probablemente desencadenaría severas sanciones internacionales contra Rusia, lo cual podría paralizar su economía y crear agitación interna.
Logística y preparación militar: Mantener una operación militar a gran escala lejos de las fronteras rusas sería logísticamente desafiante y requeriría muchos recursos.
Reacción política global: La comunidad internacional podría proporcionar asistencia militar y financiera significativa a Ucrania, dificultando la conquista.
Resistencia local: Es probable que las fuerzas armadas y los civiles ucranianos ofrezcan resistencia, causando demoras inesperadas y complicando la operación militar para Rusia.
Dinámicas internas rusas: La opinión pública en Rusia podría volverse contra la guerra, especialmente si resulta en un número significativo de bajas rusas, lo que podría llevar a presiones internas contra la operación.
Por qué la probabilidad no es menor:
Capacidad militar: Rusia tiene un ejército tecnológicamente superior en comparación con Ucrania.
Intereses geopolíticos: Rusia tiene intereses estratégicos en Ucrania y podría estar dispuesta a asumir costos significativos para lograr sus objetivos.
Intervención limitada de la OTAN: Aunque las naciones occidentales probablemente condenarían la invasión e impondrían sanciones, podrían no llegar a una intervención militar completa debido a los riesgos de escalada.
Qué tendría que cambiar para que esto no ocurra:
Fallo en la coordinación internacional: Si las naciones occidentales y otros aliados de Ucrania no logran coordinar una respuesta eficaz, esto podría hacer más fácil para Rusia lograr sus objetivos.
Fracaso de las sanciones internacionales: Si las sanciones internacionales no tienen un impacto significativo en la economía rusa o si Rusia logra sortearlas con éxito, esto podría facilitar una operación militar prolongada.
Desarrollo tecnológico o táctico: Si Rusia implementa alguna forma de nueva tecnología o táctica militar que le dé una ventaja significativa, esto podría cambiar el curso de la operación.
Debilitamiento de la economía ucraniana: Si la economía de Ucrania sufre una caída significativa, la capacidad del país para financiar su defensa podría disminuir, facilitando así la conquista por parte de Rusia.
Factores actualizables:
Movimientos diplomáticos internacionales: Cualquier nueva alianza o compromiso que involucre a Rusia, Ucrania o las potencias occidentales.
Indicadores económicos: Estado de la economía rusa, que afectaría su capacidad para mantener una operación militar a largo plazo.
Movimientos militares: Cualquier movimiento o acumulación significativa de fuerzas militares rusas o ucranianas.
Dinámicas políticas internas: Cambios en el liderazgo o la voluntad política en Rusia o Ucrania.
Mi valoración: ChatGPT hace aquí un análisis bastante sofisticado, claramente por encima de la media de analistas en sistematización de la información, aunque no en la profundidad de la misma - algo natural, porque realmente no tiene información nueva. Solo puede sistematizar. Es cauto (30-40% no son probabilidades bajas) pero acierta y lo justifica correctamente. También apunta a factores que efectivamente se activaron, aunque peca de citar varios entre ellos algunos que no jugaron un papel determinante: no jerarquiza del todo bien la importancia de los factores.
Mi pregunta: ¿Invadirá Israel la Franja de Gaza?
Pronóstico: Hay una probabilidad del 75% de que Israel lance una invasión terrestre en Gaza en las próximas dos semanas. Nivel de Confianza: Alto (80%)
Por qué:
Vulnerabilidades estratégicas expuestas en el reciente ataque
Presión política interna para una respuesta decisiva
Preparación operativa, indicada por el posicionamiento militar
Sensibilidad al tiempo debido a presiones diplomáticas internacionales
Qué tendría que cambiar:
Una intervención diplomática importante por parte de poderes internacionales
Liberación de rehenes
Un acuerdo de alto al fuego con garantías aplicables
Detalles de la operación:
Profundidad: Limitada a bastiones clave de Hamas
Duración: De 2 a 8 semanas
Objetivos: Depósitos de armas, túneles y centros de mando
Criterios para actualizar:
Cambios en la postura diplomática internacional
Nueva inteligencia sobre la ubicación de los rehenes
Desarrollos militares significativos.
Mi pregunta: ¿Entrará Hezbolá en el conflicto?
Pronóstico: Hay una probabilidad del 30% de que Hezbolá se una formalmente al conflicto en el próximo mes. Nivel de Confianza: Moderado (60%)
Por qué:
Los propios intereses estratégicos de Hezbolá en Líbano y Siria
Intereses iraníes no alineados
Altos costos de un conflicto directo con Israel
Qué tendría que cambiar:
Desarrollos accidentales
Un cambio significativo en la política exterior de Irán
Un cambio en el equilibrio de poder en Líbano que permita a Hezbolá actuar con más libertad
Una amenaza o ataque directo a Hezbolá o al territorio libanés por parte de Israel
Detalles de la operación:
Frente: Frontera norte entre Israel y Líbano
Duración: Incierta debido al potencial de involucramiento internacional
Objetivos: Instalaciones militares israelíes cerca de la frontera
Criterios para Actualizar:
Postura oficial de Irán sobre el conflicto
Movimientos militares significativos por parte de Hezbolá
Desarrollos en la política interna libanesa
Mi valoración: impresionante nivel de concreción, aunque en este caso le alimenté con mis apuntes temporales, así que tenía bastante más conocimiento. El pronóstico sobre la invasión es decidido. El grado de acotamiento, considerable.
Repetí el experimento en una ventana aparte: cambió solo ligeramente las probabilidades (75-40) y algunos de los puntos específicos (redujo la duración de la invasión, por ejemplo). Pero fue en general bastante consistente, demostrando poca aleatoridad, al menos con los parámetros con los que funciona ChatGPT.
¿Cuál es mi conclusión provisional? ChatGPT no va a reemplazar el criterio del analista (quizás un GPT-4 equipado con capacidades de búsqueda más sofisticadas que su combinación actual con Bing, bastante limitada), pero sí puede completarlo para sistematizarlo. Si ambos compartís la misma información “estrecha” sobre un hecho (la resolución fina de la imagen), ChatGPT siempre va a tener más información contextual que tú. Además, tiene una visión completa: es menos probable que tenga puntos ciegos que tú.
Mi uso, por tanto, será ese (ya lo está siendo): le comparto información y le pregunto cómo la sistematizaría él, qué me puedo estar olvidando o incluso en qué cree que me equivoco o cómo podría probar que no estoy en lo cierto.
En próximas entregas, por cierto, trataré de responder yo mismo a esas dos preguntas sobre lo siguiente entre Israel y Hamas.
Mientras, le pregunté por otras cosas en el experimento. Aquí os dejo las más curiosas como bola extra.
Rosalía’s new album. We might expect her next album to feature a similar blend of traditional and modern styles. She may continue to explore personal and socially relevant themes in her lyrics.
Ciudadanos’ fate. Given the downward trend in their support leading up to September 2021, it might be likely that Ciudadanos would continue to experience challenges in maintaining or growing its electoral base. As for ideological orientation, strategic decisions could potentially lead the party in several directions, depending on how the leadership perceives its best prospects for future growth.
Petro’s government:
Policy Priorities: Petro has often emphasized social justice, poverty reduction, and wealth redistribution. He might focus on policies aimed at reducing inequality, such as social welfare programs and progressive tax reform. He has also expressed concerns about environmental issues, which could lead to a greater emphasis on sustainable development and environmental protection.
Policy Outcomes: The outcomes of these policies would depend on a wide range of factors, including the specifics of the policy proposals, their implementation, the overall economic conditions, and the reactions of various stakeholders. Given Petro's leftist orientation, his policies might face opposition from more conservative elements of Colombian society and business sectors, which could affect their ultimate outcomes.
Institutional Dynamics: Petro's tenure as mayor of Bogotá was marked by conflicts with the city council and he was temporarily removed from office due to alleged mismanagement. If he were to become president, his relationship with other institutions of government would be crucial. Given the traditionally conservative leanings of many Colombian institutions, Petro might face significant institutional resistance.
Communication Strategies: Petro has shown skill in mobilizing support through social media and grassroots organizing. He would likely continue to use these tools to communicate directly with his supporters and the public.
La verdad es que bastante interesante. Es cierto que juega sobre seguro y, sin información extra, es más probable que aporte predicciones que se ajusten al status quo. Porque es lo que suele aportar la masa significativa de información de la que se alimenta y también porque es cómo esperamos recibir la información (que es uno de los pilares de ChatGPT: generar respuestas que sean hasta cierto punto complacientes).
Lo que reconozco que me ha parecido muy sorprendente es lo bien que estructura lo que puede acontecer en caso de que un evento suceda. Como bien dices, puede valer para ayudarte a cubrir huecos que pases por alto en un análisis inicial (que luego tú puedes validar de la forma que sea pertinente). Al final es lo que se lleva comentando desde el principio con ChatGPT (y otras IA generativas): son una herramienta magnífica para complementar un buen trabajo, pero no sustituye de momento al trabajador y su criterio.
Hablando de ciudadanos, pregunta para ti y para chatGPT. Hasta que punto crees que seria viable (con el punto de mira en las europeas) que el partido sobreviva o que acabe de morir. Y segunda parte, viabilidad de que salga un nuevo partido de centro y sea el que remate a ciudadanos.