Cómo funciona la IA generativa, sin humo

Un modelo de lenguaje predice el siguiente trozo de texto

Un modelo de lenguaje grande (LLM, por sus siglas en inglés) es un programa entrenado con una cantidad enorme de texto para una sola tarea: predecir qué viene después. Cuando le escribes, no busca la respuesta en una base de datos: la va construyendo trozo a trozo, eligiendo en cada paso lo más probable según todo lo que lleva escrito y todo lo que le has dado.

Esa idea tan simple explica casi todo lo demás:

• Si le das buen contexto, predice mejor.
• Si la pregunta es ambigua, elige la interpretación más común, que quizá no es la tuya.
• Si no sabe algo, puede producir algo que suena bien aunque no sea cierto.

Tokens: la unidad con la que piensa y cobra

El modelo no lee letras ni palabras, sino tokens: trozos de texto de unas pocas letras. En español, una palabra suele ocupar uno o dos tokens. Los tokens importan por dos motivos:

1. El límite de contexto se mide en tokens: es todo lo que el modelo «ve» a la vez (tu conversación, los documentos y su propia respuesta). Los modelos actuales llegan a cientos de miles o a un millón de tokens.
2. El precio de las API se calcula por millón de tokens de entrada y de salida.

Cómo se entrena: preentrenamiento y ajuste

Preentrenamiento

El modelo aprende, con billones de tokens de texto público y con licencia, a predecir la siguiente palabra. Así aprende gramática, datos del mundo, estilos y también los errores y sesgos de esos textos. Su conocimiento se congela en una fecha de corte: lo que pasó después no lo sabe, salvo que busque en la web o se lo des tú.

Ajuste para conversar y seguir instrucciones

Después se le enseña a responder como un asistente útil: con ejemplos de buenas respuestas y con valoraciones de personas y de otros modelos que premian lo útil, lo honesto y lo seguro. De ahí sale su «carácter» y que se niegue a ciertas peticiones.

El contexto es todo lo que tiene

Dentro de una conversación, el modelo solo sabe tres cosas:

1. Lo que aprendió en el entrenamiento.
2. Lo que hay en el contexto: tus mensajes, los archivos que subes, las instrucciones del proyecto y lo que traen las herramientas (búsqueda, documentos).
3. Lo que él mismo ha escrito antes.

No «recuerda» otras conversaciones salvo que la aplicación tenga memoria activada y te lo diga. Por eso la ingeniería de contexto (qué le das, en qué orden y en qué formato) importa tanto como el prompt.

Razonamiento: pensar antes de responder

Los modelos actuales pueden «pensar» antes de contestar: escriben un razonamiento interno, prueban caminos y revisan, y después dan la respuesta. Algunos lo deciden solos según la dificultad (razonamiento adaptativo). Pensar más mejora la lógica, el cálculo, el código y la planificación, pero tarda más y cuesta más tokens. Para tareas sencillas no hace falta.

Alucinaciones: por qué se inventa cosas

Una alucinación es una respuesta segura y bien escrita que es falsa: una cita que no existe, una norma mal numerada, una cifra inventada. Pasa porque el modelo genera lo probable, no lo comprobado. Se reduce así:

• Dale la fuente (el documento, la norma, la página) y pídele que cite el fragmento.
• Pídele que diga «no lo sé» cuando no esté en las fuentes.
• Activa la búsqueda web para hechos recientes y revisa los enlaces.
• Comprueba tú lo que tenga consecuencias: cifras, plazos, nombres y normas.

Modelos, versiones y por qué cambian tanto

Cada fabricante tiene una familia de modelos: uno grande y capaz, uno equilibrado y uno rápido y barato. Cambian cada pocos meses, así que lo que conviene aprender no es el nombre del modelo, sino:

• Para qué tarea usar uno grande o uno rápido.
• Cómo pedir (eso sirve con cualquiera).
• Dónde comprobar qué hay ahora: en nuestro panorama de herramientas cada dato lleva su fecha y su enlace oficial.

Lo que tienes que recordar

• Predice texto: dale contexto y será mejor.
• Ve lo que hay en su contexto, nada más.
• Puede pensar antes de responder: úsalo para lo difícil.
• Puede inventar: exige fuentes y comprueba.
• Los modelos cambian; tu método de trabajo, no.

Fuentes

• Anthropic: cómo funcionan las ventanas de contexto (se abre en otra pestaña)
• Anthropic: razonamiento (thinking) (se abre en otra pestaña)
• OpenAI: guía de prompts (se abre en otra pestaña)
• Prompt Engineering Guide de DAIR.AI, en español (se abre en otra pestaña)

Siguiente guía: Ingeniería de prompts: pedir bien a la primera