El estudio de algoritmos informáticos que pueden mejorar automáticamente a través de la experiencia y el uso de datos. Algoritmos que extraen y reconocen patrones, aprenden reglas implícitas y hacen predicciones. 

Un subcampo de ML; cubre algoritmos de ML que utilizan arquitecturas de redes neuronales profundas (que tienen varias capas). Las capas se utilizan para extraer entidades de nivel superior de la entrada sin procesar. Al usar muchas capas de transformaciones, podemos hacer aprendizaje representacional (encontrar automáticamente la forma adecuada de representar datos). 

Un LLM es una red neuronal profunda (arquitectura Transformer) entrenada en grandes conjuntos de datos textuales. Trata el texto como tokens y puede hacer una predicción sobre (generar) el siguiente token. 

Sistemas de ML capaces de generar texto, imágenes, código u otros tipos de contenido, a menudo en respuesta a un mensaje ingresado por un usuario. En la práctica, un modelo de Transformer grande (muy profundo) entrenado con grandes cantidades de datos de un dominio específico y con una secuencia de tokens (prompt), se usa para generar nuevos tokens desde ese dominio.