La IA califica a la IA
Lección 22 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
La IA pone notas
Un juez de IA es un modelo que califica las respuestas de otro modelo o tus propios textos. Ejemplo: escribiste dos versiones de una carta de presentación, un texto corto sobre ti para quien te contrata, para un trabajo de verano en una cafetería. Al juez le puedes pedir tres cosas: una nota del 1 al 5, elegir la mejor de dos (A o B) o comparar el texto con uno de referencia. Las empresas revisan miles de respuestas así: es más rápido y barato que pagar a personas.
Las tres debilidades del juez
El juez no es neutral, tiene sesgos. Primero, el sesgo de posición: suele elegir la respuesta que aparece primero. Segundo, el gusto por lo largo: una respuesta larga le parece mejor aunque tenga errores. Tercero, el favoritismo propio: el modelo valora más los textos escritos en su propio estilo. La imagen lo resume: al juez le gusta la primera respuesta y la más larga. No hay mala intención, es un efecto secundario de cómo aprendió el modelo.
Cambia el orden de A y B
Un truco simple contra el sesgo de posición: pregunta dos veces. Primero pon la carta A primero y luego la B, mejor en un chat nuevo. ¿El juez eligió la misma carta las dos veces? Entonces puedes confiar más en ese veredicto. ¿La elección cambió junto con el orden? Entonces el juez en realidad no ve diferencia: cuéntalo como empate. Contra el gusto por lo largo, escribe claramente «la extensión no importa» o compara textos de tamaño parecido.
Juez = modelo + prompt
La nota no depende solo del texto, también de quién juzga y cómo. Cambia el modelo o un par de palabras del prompt y ya es otro juez. Incluso el mismo juez puede darle otra nota al mismo texto, porque las respuestas de la IA tienen algo de azar. Ejemplo: un «7 de 10» en un chat y un «9 de 10» en otro no se pueden comparar. Para notas más estables, dale al juez la tarea, los criterios (con qué medir) y una escala del 1 al 5 que describa cada nota.
Un ranking hecho de duelos
Así también se comparan los propios modelos. A la gente le muestran dos respuestas a la misma pregunta, a menudo sin decir qué modelo escribió cada una, y eligen la mejor. Cada elección es como una partida. Con muchas partidas se calcula un ranking, como en el ajedrez o los juegos en línea: ganarle a un rival fuerte da más puntos. La trampa: votar sirve para gustos y estilo. Si un dato es cierto no se decide por votos, sino comprobándolo.
La última palabra es tuya
Cómo usar un juez para ti. Pídele que revise tu ensayo con pocos criterios claros, por ejemplo: idea principal clara, ejemplos, ortografía. Mejor 3 o 4 puntos precisos que 15 vagos. Pídele que primero explique y después ponga la nota. ¿Comparas dos versiones? Pruébalas en los dos órdenes. En resumen: un juez de IA es una segunda opinión, no un profe con la libreta de notas. Los datos los verificas tú y la decisión es tuya.
Ponte a prueba
- El juez eligió la carta A. Cambiaste el orden y eligió la B. ¿Qué significa?
Respuesta correcta: El juez no ve una diferencia real: cuéntalo como empate. Si la elección cambia con el orden, el juez reacciona a la posición y no a la calidad. Lo justo es contarlo como empate. - ¿Por qué no se puede comparar un «7 de 10» de un chat con un «9 de 10» de otro?
Respuesta correcta: Otro prompt u otro modelo ya son otro juez. Un juez es un modelo más un prompt. Si cambias uno, cambia la escala, y hasta el mismo juez puede variar de una vez a otra. - ¿Para qué pregunta sirve peor votar «qué respuesta es mejor»?
Respuesta correcta: En qué año ocurrió un hecho histórico. Los votos miden bien el gusto y el estilo. Una fecha es correcta o no, y eso lo decide una fuente, no la mayoría.
← Por qué los modelos son tan enormes Pregunta tres veces y elige →