Saltar al contenido

Glosario · Conceptos de IA

Modelo de lenguaje (LLM)

Un modelo entrenado con enormes cantidades de texto para predecir y generar lenguaje.

  • Arquitectura transformer
  • Autoatención
  • Generativo

Nombre original: Large Language Model

Definición

Un modelo de lenguaje de gran escala es un sistema entrenado con cantidades masivas de texto para aprender patrones lingüísticos y representar significado. Usa arquitecturas de tipo transformer, basadas en mecanismos de autoatención, para predecir la siguiente palabra o fragmento de palabra y generar texto coherente. Ejemplos conocidos son GPT-4, Claude, Gemini y LLaMA.

Pruébalo

Cambia la temperatura y pide al modelo que continúe la frase.

La evaluación formativa sirve para …

  • mejorar44.4 %
  • orientar23.7 %
  • aprender16.3 %
  • detectar8.7 %
  • calificar3.6 %
  • motivar2.8 %
  • nada0.3 %
  • cocinar0.0 %
Un modelo de lenguaje no busca la respuesta en una base de datos: calcula la probabilidad de cada palabra posible y elige una. Las cifras de este ejemplo son ilustrativas, pero el mecanismo es el real. Por eso la misma pregunta puede dar respuestas distintas.

Por qué importa en la universidad

  • Tutorías automáticas. Asistencia personalizada para estudiantes a cualquier hora.
  • Creación de actividades. Generación de ejercicios y casos de estudio.
  • Asistencia académica. Apoyo en la redacción y el análisis de textos.
  • Simulaciones educativas. Escenarios interactivos de aprendizaje.

Ahorran tiempo en muchas tareas, pero el docente tiene que verificar con sentido crítico lo que producen.

Un poco de historia

Cómo se ha llegado hasta aquí

De los modelos estadísticos del lenguaje a los asistentes que usa el alumnado.

  1. 2017

    La arquitectura transformer

    Un equipo de Google presenta la arquitectura en la que se basan casi todos los modelos actuales.

  2. 2018-2020

    Modelos cada vez mayores

    Aparecen BERT y la serie GPT. GPT-3 (2020) muestra que un modelo grande puede hacer tareas nuevas con solo unas instrucciones.

  3. Nov. 2022

    ChatGPT

    Un modelo de lenguaje llega al gran público en forma de conversación y alcanza a millones de estudiantes en semanas.

  4. 2023-2026

    Competencia y agentes

    Se multiplican los modelos (Claude, Gemini, LLaMA y otros) y empiezan a usar herramientas y a actuar como agentes.

Ejemplos en el aula

  1. Rúbricas y retroalimentación

    Criterios de evaluación y una primera retroalimentación generados a partir de la tarea.

  2. Debates simulados

    Debates con autores relevantes de la asignatura, representados por el modelo.

  3. Explicaciones por niveles

    La misma explicación adaptada a distintos grados de complejidad.

Cómo funciona por dentro

El esquema completo

Esquema del funcionamiento interno de un modelo de lenguaje: entrada y división en fragmentos, núcleo del modelo con capas de atención y parámetros, y predicción probabilística de la salida, alimentado por un corpus de entrenamiento masivo.
Entrada y división en fragmentosNúcleo del modeloPredicción de la salidaCorpus de entrenamiento

Para saber más

Lecturas recomendadas

  • Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. Stanford HAI.
  • OpenAI (2023). GPT-4 Technical Report. arXiv.