Cómo saber si una IA es buena
Lección 9 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Pruébala con algo nuevo
A un modelo se lo prueba de verdad con ejemplos que no vio al entrenar. Es como un examen, no los ejercicios del libro que ya resolviste. En el dibujo: con los ejemplos de entrenamiento el modelo saca 100% y con los nuevos, 70%. El porcentaje es la parte de respuestas correctas, y los números son solo un ejemplo. Cree en el segundo: muestra cómo le irá al modelo en la vida real.
Sobreajuste: memorizó, pero no entendió
Sobreajuste: el modelo memorizó tan bien los ejemplos de entrenamiento que con los nuevos se pierde. Como un compañero que se aprendió de memoria las respuestas del libro y en el examen no puede resolver el mismo ejercicio con otros números. Por eso, una gran diferencia entre el libro y el examen es una señal de alerta. Un buen modelo capta la idea general, no memoriza respuestas.
La precisión puede mentir
Precisión: la parte de respuestas correctas. Suena confiable, pero hay una trampa. Por ejemplo: trabajas medio tiempo en una tienda online de tenis y una IA ordena los correos de los clientes. De 100 correos, 95 son preguntas normales y 5 son quejas. Una IA que a todo le dice «pregunta» acierta 95 de 100, su precisión es 95%. Pero no detectó ni una queja. Mira cómo maneja la IA los casos raros pero importantes.
Los rankings no hablan de ti
Las empresas presumen sus resultados en benchmarks. Un benchmark es un conjunto común de tareas de prueba, por ejemplo de matemáticas o programación, para comparar modelos. Sirve, pero tu tarea no está ahí. Un modelo que arrasa en matemáticas de olimpiada puede confundir las tallas y las reglas de devolución de tu tienda. Spoiler: el primer lugar del ranking no es el mejor para ti.
Tu propio miniexamen
Junta 5–10 ejemplos reales de tu propia tarea; para empezar alcanza. Por ejemplo, correos reales de clientes: una pregunta normal, una queja, uno escrito en jerga, uno lleno de errores de tipeo. Para cada uno anota qué respuesta consideras correcta. Pásalos por la IA y compara. Ese es tu examen: muestra enseguida dónde falla el modelo y es más honesto que cualquier ranking.
Compara lado a lado
¿Quieres saber qué prompt o qué modelo es mejor? Dales a las dos opciones los mismos ejemplos de tu miniexamen y pon las respuestas una al lado de la otra. Califícalas con una lista simple: ¿es correcta?, ¿va al punto?, ¿el tono es el adecuado? Cambia una sola cosa a la vez, o no sabrás qué funcionó. Y recuerda: las respuestas varían un poco cada vez, así que corre cada ejemplo un par de veces.
Ponte a prueba
- Un modelo resuelve muy bien los ejemplos de entrenamiento, pero mal los nuevos. ¿Cómo se llama esto?
Respuesta correcta: Sobreajuste. Sobreajuste: el modelo memorizó los ejemplos en vez de la idea general, por eso falla con los nuevos. - Una IA tiene 95% de precisión, pero no halló ninguna de las 5 quejas en 100 correos. ¿Cómo?
Respuesta correcta: Hay pocas quejas y a todo le dice pregunta normal. Clasificó bien los 95 correos normales, y eso ya es 95 de 100. La precisión esconde el fallo en casos raros pero importantes. - ¿Cuál es la mejor forma de elegir una IA para tu tarea?
Respuesta correcta: Probarla con 5–10 ejemplos reales tuyos. Los rankings prueban tareas generales, no la tuya. Tu miniexamen muestra enseguida dónde falla el modelo en lo tuyo.