ModelosConcepto 01 de 01

¿Qué es un modelo?

3 min de lectura Ver en la órbita

Un modelo de lenguaje (large language model, LLM) es un programa que recibe texto y predice qué texto sigue.

No escribe la respuesta de una vez: la arma de a un fragmento, llamado token, y repite la predicción hasta terminar. Todo lo que hace un agente se apoya en esa única capacidad.

textotokensprediceagregarepitelisto
GUÍA

Entra el texto «El perro come las».

1/6

Texto entra, texto sale

Un modelo de lenguaje se entrena con enormes cantidades de texto. Ese entrenamiento previo (pretraining) le enseña una sola tarea: predecir la palabra que sigue, dado el texto anterior.

Para generar una respuesta repite siempre la misma pregunta: dado el texto que hay hasta ahora, ¿qué debería seguir? Agrega un fragmento y vuelve a preguntar.

Responder preguntas, resumir, traducir o escribir código son usos de esa misma capacidad.

Qué es un token

Un token es la unidad más pequeña que maneja el modelo. Puede ser una palabra entera, un trozo de palabra, un carácter o un signo.

El modelo no lee letras ni palabras: un tokenizador (tokenizer) convierte el texto en tokens, y el modelo predice tokens.

Este es el corte de dos frases equivalentes con el tokenizador de GPT-2:

"The dog eats the apples"     →  The | dog | eats | the | apples              5 tokens
"El perro come las manzanas"  →  El | per | ro | come | las | man | zan | as  8 tokens

Dos cosas que muestra el ejemplo:

  • Una palabra no es un token. «manzanas» se parte en tres; «come» queda entera.
  • El español usa más tokens que el inglés. La misma frase pasa de 5 a 8.

Como referencia, en los modelos de Claude un token equivale a unos 3,5 caracteres en inglés. La cifra depende del modelo y del idioma.

El tokenizador de GPT-2 es antiguo y se usa aquí porque su corte es fácil de leer. Cada modelo tiene el suyo: los modelos recientes de Claude producen cerca de un 30 % más de tokens que los anteriores para el mismo texto.

Por qué importa para los agentes

  • Todo se mide en tokens. Lo que el modelo puede leer de una vez, lo que cuesta cada pedido y lo que tarda la respuesta. Es el tema del concepto 2.2.
  • El modelo solo escribe texto. Cuando usa una herramienta, escribe texto con un formato que el harness reconoce y ejecuta: el bloque tool_use del concepto 1.3.
  • La predicción tiene azar. El modelo no elige siempre el token más probable, así que la misma pregunta puede dar respuestas distintas. Es el tema del concepto 2.4.