Pregunta tres veces y elige
Lección 23 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Una pregunta, respuestas distintas
¿Te acuerdas de la temperatura? El modelo saca las palabras según sus probabilidades, así que la misma pregunta puede dar respuestas distintas. A esto se le llama inconsistencia. Puede ser peor: una redacción apenas distinta, por ejemplo otro orden de palabras, y la respuesta cambia mucho. Para ideas es una ventaja. Pero si necesitas un solo resultado exacto, como la respuesta de la tarea de álgebra para mañana, es un problema.
Gasta más esfuerzo en la respuesta
Puedes lograr una mejor respuesta sin un modelo más grande. Gasta más cálculo en el momento de responder: pide varias versiones en vez de una. Esto se llama cómputo en tiempo de respuesta (test-time compute). El método más simple es el mejor de N: N intentos y te quedas con el mejor. Puedes elegir tú, una comprobación sencilla o un juez de IA. La desventaja: 3 intentos cuestan unas 3 veces más tiempo y dinero.
Votación: donde coinciden
Para tareas con una sola respuesta exacta hay un truco más simple: el voto de mayoría. En la imagen: un problema, tres intentos, respuestas 42, 42 y 38 (números de ejemplo). Dos de tres coinciden, así que nos quedamos con 42. La lógica: los errores al azar suelen ser distintos cada vez, y un razonamiento correcto tiende a llegar al mismo número. Sirve para matemáticas, exámenes de opción múltiple o sacar un dato de un texto. En un ensayo no hay qué votar: ahí eliges el mejor.
El modo «pensar» hace algo parecido
Los modelos que razonan, los de la lección sobre pasos, también gastan más esfuerzo antes de responder. Escriben un borrador, prueban distintos caminos, se revisan y solo después contestan. Es la misma idea: más trabajo al responder en vez de un modelo más grande. Por eso son más lentos y cuestan más. Activa ese modo para un problema difícil o un plan, no para «cómo se dice gracias en japonés».
De dónde salen los inventos
¿Por qué la IA alucina, es decir, escribe con seguridad cosas falsas? El modelo continúa el texto de forma creíble y no siempre distingue lo que sabe de lo que adivinó. Y todo lo que ya escribió lo lee como un hecho. Ejemplo: en la primera frase el modelo se equivoca de autor de un libro y luego inventa la biografía de esa persona para que todo encaje. Se llama efecto bola de nieve: una suposición falsa arrastra otras.
Coincidir no es prueba
Una receta para cifras y datos importantes. Pregunta 2 o 3 veces: regenera la respuesta o abre un chat nuevo, donde un error viejo del historial no arrastra otro. ¿Las respuestas no coinciden? Es una señal de alerta: el modelo no está seguro, revisa una fuente confiable. ¿Coinciden? La probabilidad de error baja, pero no es cero: un modelo puede repetir tres veces el mismo error popular. En resumen: coincidir es una pista, la prueba la da una fuente.
Ponte a prueba
- Tres intentos dieron 42, 42 y 38. ¿Qué elige el voto de mayoría?
Respuesta correcta: 42, porque así respondieron dos de los tres intentos. El voto de mayoría toma la respuesta en la que coinciden más intentos: 2 de 3 dieron 42. Promediar no tiene sentido si hay una sola respuesta correcta. - ¿Por qué es mejor un chat nuevo para volver a comprobar un dato?
Respuesta correcta: Un error viejo del historial no influye en la nueva respuesta. El modelo lee todo lo que ya está en el chat como un hecho. Un chat nuevo no tiene su error anterior, así que la prueba es más justa. - El modelo dio la misma respuesta a una pregunta importante tres veces seguidas. ¿Qué es cierto?
Respuesta correcta: Un error es menos probable, pero igual verifica el dato. Coincidir sube la probabilidad de que sea correcta, pero un modelo puede repetir con constancia un error popular. La prueba es la fuente.