Embeddings: el significado como coordenadas
Lección 4 de 23 del curso «Bases de IA». Gratis, con animaciones y un test.
La palabra se vuelve números
La computadora no entiende palabras, trabaja con números. Por eso el modelo convierte cada palabra o frase en un embedding: una lista larga de números, normalmente cientos o miles. Es como las coordenadas de un punto en un mapa, solo que con cientos de ejes en vez de dos. El modelo elige esos números al entrenarse, mirando junto a qué palabras aparece cada palabra en los textos.
Significado cercano, puntos cercanos
En el dibujo, este mapa está reducido a dos ejes. «Gato», «perro» y «cachorro» están juntos: se escribe de ellos en textos parecidos. «Plátano» y «manzana» forman su propio grupo, «bitcoin» y «dólar» otro. La flecha muestra la distancia entre puntos: cuanto más corta, más cercano el significado. El modelo no sabe qué es un gato, pero sí a qué se parece.
Búsqueda por significado
La búsqueda normal busca palabras iguales. La búsqueda con embeddings busca puntos cercanos. Escribes «qué hacer en un día lluvioso en Bogotá» y aparece un artículo «museos y cafés para cuando hace mal tiempo», aunque las palabras casi no coinciden. Las recomendaciones suelen funcionar parecido: a tu feed llegan videos cuyos puntos están cerca de los que viste hasta el final.
Rey − hombre + mujer
Un truco famoso: al punto «rey» le restas «hombre», le sumas «mujer» y caes cerca de «reina». O sea, algunas direcciones del mapa guardan relaciones entre palabras, como «género» o «país y su capital». Pero sin exagerar: es una ilustración bonita, no funciona con todas las palabras y no siempre es exacta. Aquí no hay una comprensión del mundo como la humana.
Atención: la palabra mira a sus vecinas
Una palabra puede tener varios significados. «Banco» en «me senté en el banco del parque» y en «abrí una cuenta en el banco» son cosas distintas. El mecanismo de atención (attention) lo resuelve así: al leer cada palabra, el modelo mira las otras palabras de la frase y afina su significado. «Parque» acerca «banco» a los asientos. Con ese significado afinado, el modelo adivina la siguiente palabra, como en el dibujo.
Ponte a prueba
- ¿Qué es un embedding?
Respuesta correcta: Una lista de números que describe el significado. Un embedding son las coordenadas de una palabra o frase en un mapa de significados. Textos parecidos reciben coordenadas cercanas. - ¿Por qué la búsqueda por significado encuentra un artículo sin tus palabras?
Respuesta correcta: Busca puntos cercanos en significado. La consulta y los artículos se vuelven embeddings, y la búsqueda toma los puntos más cercanos. No hace falta que coincidan las palabras. - ¿Cómo sabe el modelo que «banco» en «banco del parque» no es una entidad financiera?
Respuesta correcta: Mira las otras palabras de la frase. Es el mecanismo de atención: las palabras vecinas afinan el significado de cada una, y el sentido se elige por el contexto.
← Tokens y ventana de contexto Por qué las respuestas cambian cada vez →