Por qué los modelos son tan enormes
Lección 21 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
Un parámetro: una perilla de ajuste
Dentro de un modelo hay miles de millones de números. Cada uno se llama parámetro. Al entrenar, el modelo lee texto, adivina la siguiente palabra y, cuando falla, ajusta un poquito sus parámetros, como las perillas de una consola de DJ. Una perilla sola no significa nada, pero juntas guardan los patrones del lenguaje que aprendió. Más perillas: más espacio para cosas sutiles, como el sarcasmo o el estilo.
Tres ingredientes de un modelo grande
El tamaño de un modelo se apoya en tres cosas. Parámetros: cuántas perillas tiene. Datos: cuánto texto leyó, medido en tokens, esos pedacitos de texto. Cómputo: cuántos cálculos se hicieron al entrenar, o sea, cuántos chips y durante cuánto tiempo trabajaron. Son miles de chips potentes, muchísima electricidad y muchísimo dinero. Un solo ingrediente no basta: un modelo grande con pocos datos sale débil.
Cada paso da menos
Si aumentas los tres ingredientes, el modelo suele mejorar. Esta regularidad se llama ley de escalamiento. Pero la curva del dibujo primero sube rápido y luego se aplana. Es como subir de nivel en un juego: los primeros niveles salen rápido y cada uno siguiente pide más y más experiencia. Ejemplo: llevar un modelo de «meh» a «bueno» es más fácil que de «bueno» a «casi sin errores».
El buen texto se está acabando
Los modelos ya leyeron una parte enorme del internet abierto, y no aparece tanto texto nuevo y de calidad escrito por personas. Muchos sitios ahora prohíben usar sus textos para entrenar. Además, en la red hay cada vez más texto escrito por la propia IA. Si aprende de él, el modelo puede copiar errores ajenos, como en el esquema. Para ti: todo lo que publicas abiertamente puede terminar en un entrenamiento.
El inglés domina los datos
La mayor parte del texto en internet está en inglés; en otros idiomas hay bastante menos. Por eso los modelos suelen rendir mejor en inglés, y en otros idiomas captan menos matices y gastan más tokens para decir lo mismo. Tranqui: en español también funcionan bien. Pero si la respuesta a una pregunta difícil sale floja, prueba a hacerla en inglés y compara.
Para qué sirven los modelos pequeños
Un modelo grande es más listo, pero cada respuesta le exige más cálculos. O sea, es más lento y cada respuesta cuesta más. Los modelos pequeños son rápidos, baratos y a veces funcionan directo en tu celular, incluso sin internet. Por ejemplo, un traductor en un viaje. Recuerda la curva: para tareas simples, uno pequeño suele bastar. En resumen: el modo rápido para lo sencillo, el grande para lo difícil.
Ponte a prueba
- ¿Qué es un parámetro del modelo?
Respuesta correcta: Un número dentro del modelo que se ajusta al entrenar. Los parámetros son miles de millones de números que el modelo ajusta mientras aprende. Juntos guardan los patrones aprendidos. - El modelo ya es grande. Se aumentan otra vez los tres ingredientes. ¿Qué esperar?
Respuesta correcta: Suele mejorar, pero la ganancia es menor. Escalar suele ayudar, pero la curva se aplana: cada paso siguiente da menos y los errores no desaparecen. - ¿Para qué hacer modelos pequeños si los grandes son más listos?
Respuesta correcta: Son más rápidos, baratos y pueden ir en el celular. Cada respuesta de un modelo grande exige más cálculos. Uno pequeño responde más rápido y barato, y suele bastar para tareas simples.